Landing Runway Suitability Analysis Using Point Cloud Data in Unmanned Aerial Vehicles

Öz

With the development of technology in terms of unmanned aerial vehicles (UAV), their usage areas and research studies on them are increasing by the time. Although they are called unmanned, UAVs are controlled with the help of a pilot or flight attendant, or their autonomous flights are programmed. In line with the research, it has been determined that most of the problems and accidents occur during the landing of UAVs. In order to reduce this rate, detecting the landing runway with image processing methods and analyzing the obstacles on the runway with the point cloud method during the landing phase is an important step to be taken in this regard. For this reason, this study includes applications that can be used in UAV landing systems and provided with deep learning networks. First of all, the landing runway to be analyzed has been designed. This runway is left in an environment with different vehicles and obstacles around it. Later, real images and video recordings of the runway are taken from different heights and angles with a four-rotor UAV. The captured images have then been used to undergo processing and training stages. UAV landing runway detection has been achieved as a result of taking real images of the runway where the UAV would land, creating a dataset, and processing these images in YOLOv8. After the landing runway has been determined, the presence or absence of obstacles on the runway has been examined and analyzed using the point cloud data. The application has been completed, with depth maps provided in black-and-white and RGB form.

Anahtar Kelimeler

• Image Processing
• UAV Landing System
• Point Cloud
• RoboFlow
• YOLO

İnsansız Hava Araçlarında Nokta Bulutu Verisi Kullanılarak İniş Pisti Uygunluk Analizi

Öz

İnsansız hava araçları (İHA) açısından gelişen teknoloji ile birlikte kullanım alanları ve üzerlerinde yapılan araştırma çalışmaları her geçen gün artmaktadır. Her ne kadar insansız olarak adlandırılsalar da İHA'lar bir pilot/uçuş görevlisi yardımıyla kontrol edilmekte ya da otonom uçuşları programlanmaktadır. Yapılan araştırmalar doğrultusunda, yaşanılan sorunların ve kazaların büyük bir kısmının İHA'ların inişi sırasında gerçekleştiği belirlenmiştir. Bu oranı azaltacak şekilde iniş aşamasında, iniş pistinin görüntü işleme yöntemleri ile tespit edilmesi ve nokta bulut yöntemiyle pistte bulunan engellerin analiz edilmesi bu konuda atılacak önemli bir adımdır. Bu nedenle bu çalışmada, İHA iniş sistemlerinde kullanılabilecek ve derin öğrenme ağlarıyla sağlanabilecek uygulamalara yer verilmiştir. Öncelikle, analizi gerçekleştirilecek olan iniş pistinin tasarımı yapılmıştır. Bu pist, çevresinde farklı araç ve engellerin de bulunduğu bir ortama bırakılmıştır. Daha sonra, pistin dört rotorlu bir İHA ile farklı yükseklik ve açılardan gerçek görüntüleri ve video kaydı alınmıştır. Alınan görüntüler daha sonra işleme ve eğitim aşamalarına tabi tutulmak için kullanılmıştır. İHA’nın iniş yapacağı pistin gerçek görüntülerinin alınması, bir dataset oluşturulması ve alınan bu görüntülerin YOLOv8’de işlenmesi sonucunda İHA iniş pisti tespiti sağlanmıştır. İniş pisti tespitinin ardından pist üzerinde engel bulunma ve bulunmama durumları nokta bulut yöntemi kullanılarak incelenmiş ve analizi gerçekleştirilmiştir. Siyah-beyaz ve renkli şekilde verilen derinlik haritaları ile uygulama tamamlanmıştır.

Anahtar Kelimeler

• Görüntü İşleme
• İHA İniş Sistemi
• Nokta Bulutu
• RoboFlow
• YOLO

Kaynakça

1. Mohsan SAH, Othman NQH, Li Y. et al. Unmanned aerial vehicles (UAVs): practical aspects, applications, open challenges, security issues, and future trends. Intel Serv Robotics 2023; 16: 109–137.
2. Rolly RM, Malarvezhi P, Lagkas TD. Unmanned aerial vehicles: Applications, techniques, and challenges as aerial base stations. International Journal of Distributed Sensor Networks. 2022;18(9): doi:10.1177/15501329221123933.
3. Mohsan SAH, Khan MA, Noor F, Ullah I, Alsharif M.H, Applications of Unmanned Aerial Vehicles. Encyclopedia. Available online: https://encyclopedia.pub/entry/25512 (accessed on 27, 2023).
4. Shakhatreh H, et al., Unmanned Aerial Vehicles (UAVs): A Survey on Civil Applications and Key Research Challenges. in IEEE Access, 2019; 7: 48572-48634, doi: 10.1109/ACCESS.2019.2909530.
5. Laghari AA, Jumani AK, Laghari L. A, Nawaz H. Unmanned aerial vehicles: A review, Cognitive Robotics, 2023; 3: 8-22, ISSN 2667-2413, https://doi.org/10.1016/j.cogr.2022.12.004.
6. Ahmed F, Mohanta JC, Keshari A, et al. Recent Advances in Unmanned Aerial Vehicles: A Review. Arab J Sci. Eng. 2022; 47: 7963–7984. https://doi.org/10.1007/s13369-022-06738-0.
7. Karaköse E. Sürü İnsansız Hava Araçlarının Görev Paylaşımı için Genetik Algoritma Tabanlı Bir Yaklaşım. Fırat Üniv. Müh. Bil. Bil. Dergisi, 2022; 3.
8. Zheng X, Hu T. Air2Land: A Deep Learning Dataset for Unmanned Aerial Vehicle Auto Landing from Air to Land. IET Cyber-Systems and Robotics 2022; 4 (2): 77-85.

9. Wu L, Wang C, Zhang P, Wei C. Deep Reinforcement Learning with Corrective Feedback for Autonomous UAV Landing on a Mobile Platform. Drones 2022; 6(238). https://doi.org/10.3390/drones6090238.
10. Şeker A. Derin Öğrenme Yöntemleri ve Uygulamaları Hakkında Bir İnceleme, Doktora Semineri, Yıldız Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2017.
11. Liao T, Haridevan A, Liu Y, Shan J. Autonomous Vision-Based UAV Landing with Collision Avoidance Using Deep Learning. Intelligent Computing. SAI 2022; 507: Lecture Notes in Networks and Systems, Springer, Cham.
12. Wang J, Wei C. A Novel Air-Ground Coordinated Approach for UAV Autonomous Landing on a Mobile Platform. Proceedings of 2022 International Conference on Autonomous Unmanned Systems ICAUS 2022: 2033–2043.
13. Muraleedharan N, Cohen D. S, et al. Modelling and simulation of UAV systems. In book: Imaging and Sensing for Unmanned Aircraft Systems. 2020; 1(5): Control and Performance, 101-121, April 2020.
14. Mateja K, Skarka W, Peciak P, Niestroj R, Gude M. Energy Autonomy Simulation Model of Solar Powered UAV, Energies 2023; 16(1): 479, https://doi.org/10.3390/en16010479.
15. Aksu M, Karaköse E. İnsansız Hava Araçlarında Pekiştirmeli Öğrenme Kullanılarak Yükseklik Kontrolü, Fırat Üniversitesi Uzay ve Savunma Teknolojileri Dergisi, 12 /2022.
16. Yaşar S. N, Karaköse E. Trajectory Control of Quadcopter in Matlab Simulation Environment, 2022 International Conference on Decision Aid Sciences and Applications (DASA).
17. Karaköse E, Karaköse M, Yılmazer M. Multi-Package Delivery Optimization with Drone, 2021 International Conference on Data Analytics for Business and Industry (ICDABI).
18. Neuville R. Bates J.S, Jonard F. Estimating Forest Structure from UAV-Mounted LiDAR Point Cloud Using Machine Learning. Remote Sens. 202; 13(352). https://doi.org/10.3390/rs13030352.
19. Grlj CG, Krznar N, Pranjić M. A Decade of UAV Docking Stations: A Brief Overview of Mobile and Fixed Landing Platforms. Drones 2022; 6(17). https://doi.org/10.3390/drones601001712.
20. Lee JY, Chung AY, Shim H, Joe C, Park S, Kim H. UAV Flight and Landing Guidance System for Emergency Situations. Sensors 2019; 19: 4468. https://doi.org/10.3390/s19204468.
21. Nguyen PH, Kim KW, Lee YW, Park K.R. Remote Marker-Based Tracking for UAV Landing Using Visible-Light Camera Sensor. Sensors 2017; 17: 1987. https://doi.org/10.3390/s17091987.
22. Demirtaş MA. Derin Öğrenme İle 3 Boyutlu Nokta Bulutlarının Sınıflandırılmasına Genel Bir Bakış. Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi. 13 (1): 1 - 9, 30.03.2022.
23. Yang T, Li P, Zhang H, Li J, Li Z, Monocular Vision SLAM-Based UAV Autonomous Landing in Emergencies and Unknown Environments. Electronics 2018; 7(73).
24. Chang CW, Lo LY, Cheung HC, Feng Y, Yang AS, Wen CY, Zhou W. Proactive Guidance for Accurate UAV Landing on a Dynamic Platform: A Visual–Inertial Approach. Sensors 2022; 22(404). https://doi.org/10.3390/s22010404.
25. Ge Z, Jiang J, Pugh E, Marshall B, Yan Y, Sun L. Vision-Based UAV Landing with Guaranteed Reliability in Adverse Environment. Electronics 2023; 12(967). https://doi.org/10.3390/electronics12040967.
26. Xin L, Tang Z, Gai W, Liu H. Vision-Based Autonomous Landing for the UAV: A Review. Aerospace 2022; 9(634). https://doi.org/10.3390/aerospace9110634
27. Fırıldak K, Talu F. Evrişimsel Sinir Ağlarında Kullanılan Transfer Öğrenme Yaklaşımlarının İncelenmesi, Anatolian Journal of Computer Science, 2019: 88-95.
28. Venugopalan TK, Taher T, Barbastathis G. Autonomous landing of an Unmanned Aerial Vehicle on an Autonomous Marine Vehicle, 2012 Oceans, Hampton Roads, VA, USA, 1-9, doi: 10.1109/OCEANS.2012.6404893.
29. Galimov M, Fedorenko R, Klimchik A. UAV Positioning Mechanisms in Landing Stations: Classification and Engineering Design Review. Sensors 2020; 20(3648). https://doi.org/10.3390/s20133648.
30. Xu R, Liu C, Cao Z, Wang Y, Qian H. A Manipulator-Assisted Multiple UAV Landing System for USV Subject to Disturbance. Computer Science, Robotics. 2 Sep 2023.
31. Yu L, Luo C, Yu X, Jiang X, Yang E, Lu C, Ren P. Deep Learning For Vision-Based Micro Aerial Vehicle Autonomous Landing, International Journal of Micro Air Vehicles. 2018;10(2): 171-185. doi:10.1177/1756829318757470.
32. Biçer Y, Moghadam M, et al. Vision-based UAV for Autonomous Landing with Deep Neural Networks, Session: Learning, Reasoning, and Data Driven Systems I, Published Online:6 Jan 2019.
33. Saygılı Z, Özmen G. İnsansız Hava Araçlarında Gömülü Sistem Üzerinden Derin Öğrenme ile Nesne Tespiti. Avrupa Bilim ve Teknoloji Dergisi, Özel Sayı 34: 292-298, Mart 2022.
34. Usta A, Arserim MA. İnsansız Hava Aracından Çekilen Videolar Kullanılarak Derin Öğrenme Yaklaşımı ile Nesne Tespiti, DUJE (Dicle University Journal of Engineering. 2023; 14(1): 9-15.
35. Şin B, Kadıoğlu İ. İnsansız Hava Aracı (İHA) ve Görüntü İşleme Teknikleri Kullanılarak Yabancı Ot Tespitinin Yapılması. Tokat Gaziosmanpaşa Üniversitesi Ziraat Fakültesi Bitki Koruma Bölümü. Turkish Journal of Weed Science 2019; 20 (2): 211-217.
36. Kabadayı A, Erdoğan A, İHA Fotogrametrisi Kullanarak Yozgat Çilekçi Türbesi’nin 3 Boyutlu Nokta Bulutu ve Modelinin Üretilmesi. Türkiye Fotogrametri Dergisi, 2023: 5(1); 29-35.
37. Zheng Z, Bewley TR., Kuester F. Point Cloud-Based Target-Oriented 3D Path Planning for UAVs. 2020 International Conference on Unmanned Aircraft Systems (ICUAS), Athens, Greece, 2020. 790-798, doi: 10.1109/ICUAS48674.2020.9213894.
38. Han X, Jin J, Wang M, et al. A review of algorithms for filtering the 3D point cloud. Signal Processing: Image Communication. September 2017; 57: 103-112.
39. Wang H, Liu Y, Dong Z, Wamg W. You Only Hypothesize Once: Point Cloud Registration with Rotation-equivariant Descriptors. Computer Science-Computer Vision and Pattern Recognition 2022.
40. Rusu RB, Cousins S. 3D is here: Point Cloud Library (PCL). 2011 IEEE International Conference on Robotics and Automation, Shanghai, China, 2011. 1-4, doi: 10.1109/ICRA.2011.5980567.
41. Uray F. Derin Öğrenme Tekniklerini Kullanarak Hava Lidar Nokta Bulutlarının Sınıflandırılması, Doktara Tezi, Necmettin Erbakan Üniversitesi, Fen Bilimleri Enstitüsü Harita Mühendisliği Anabilim Dalı, Konya. 2022.
42. Ahmad Fuad N, Yusoff AR, Ismail Z, Majid Z. Comparing The Performance of Point Cloud Registration Methods for Landslide Monitoring Using Mobile Laser Scanning Data, 2018 International Conference on Geomatics and Geospatial Technology, 3-5 September 2018, Kuala Lumpur, Malaysia.
43. Lechner A, Foody G, Boyd D. Applications in Remote Sensing to Forest Ecology and Management. One Earth May 2020; 2(5): 22, 405-412.
44. Terven J, Cordava-Esparaza D. A Comprehensıve Review of YOLO: From YOLOv1 to YOLOv8 and Beyond, Computer Science-Computer Vision and Pattern Recognition. 2023.
45. Diwan T, Anirudh G, Tembhurne J. Object detection using YOLO: Challenges, Architectural Successors, Datasets and Applications. Multimed Tools Appl. 2023; 82: 9243–9275. https://doi.org/10.1007/s11042-022-13644-y.
46. Jiang P, Ergu D, Liu F, Cai Y, Ma B. A Review of Yolo Algorithm Developments. Procedia Computer Science 2022; 199:1066-1073.
47. Kuruvilla J, Sukumaran D, Sankar A, Joy S. A Review on Image Processing and Image Segmentation. Computer Science 2016 International Conference on Data Mining and Advanced Computing (SAPIENCE).
48. Solak S, Altınışık U. Görüntü İşleme Teknikleri ve Kümeleme Yöntemleri Kullanılarak Fındık Meyvesinin Tespit ve Sınıflandırılması, Sakarya Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 2018; 22(1): 56-65,
49. Yağmur D, Atalı G. HSL Renk Uzayında Görüntü İşleme ve Morfolojik İşlemler Kullanarak Gerçek Zamanlı Nesne Tespiti ve Sınıflandırması, European Journal of Science and Technology Special Issue 28: 607-613, November 2021.
50. Çelik A, Tekin E. Hough Transform Görüntü İşleme Yöntemiyle Ekim Makineleri için Tohum Sayma Uygulaması, European Journal of Science and Technology Special Issue, 260-267, Nisan 2020.
51. Soyhan İ, Gürel S, Tekin S. Yapay Zeka Tabanlı Görüntü İşleme Tekniklerinin İnsansız Hava Araçları Üzerinde Uygulamaları. Avrupa Bilim ve Teknoloji Dergisi Özel Sayı 24, S. 469-473, Nisan 2021.