Usage of Unmanned Aerial Vehicles in Segmentation Studies

Abstract

Advanced camera systems integrated in to unmanned aerial vehicles (UAVs) enable the acquisition of high-resolution images. These images are often more advantageous in terms of spatial, temporal, radiometric, and spectral resolution compared to satellite images. However, depending on the size of the scanned areas, the acquired data becomes large and occupies significant storage space. Therefore, processing the data to obtain meaningful information and insights becomes challenging. Various methods have been developed to extract meaningful data from images. While operators used to analyze images one by one in the past, today, object-based and pixel-based data extractions have been developed. Thanks to these methods, data can be parsed by software rapidly and with high accuracy. Segmentation and classification methods facilitate processes such as categorization, sub-classification, parsing, and detection. Segmentation and classification processes on data are of crucial importance for the analysis of large and complex datasets. Numerous studies demonstrate that these techniques and applications are continuously evolving and gaining prominence in the literature. Within the scope of this study, segmentation and classification efforts conducted with UAVs have been discussed, and the outcomes of these studies have been examined. It is observed that studies utilizing hybrid and deep learning-based techniques tend to yield more efficient results compared to other approaches.

Keywords

• UAV
• 3D Segmentation
• Classification
• Image Processing
• Deep Learning

İnsansız Hava Araçlarının Segmentasyon Çalışmalarında Kullanımı

Öz

İnsansız hava aracı üzerine entegre edilen gelişmiş kamera sistemleri sayesinde yüksek çözünürlüğe sahip görüntüler elde edilebilmektedir. Bu görüntüler çoğu zaman, uydu görüntülerine göre mekânsal, zamansal, radyometrik ve spektral çözünürlük olarak daha avantajlıdır. Ancak, taranan alanların büyüklüğüne bağlı olarak, elde edilen veriler büyük boyutlara ulaşmakta ve fazla yer kaplamaktadır. Bu nedenle verilerin işlenerek anlamlı bilgilerin ve çıkarımların elde edilmesi zorlaşmaktadır. Görüntülerin içerisinden anlamlı olan verilere ulaşabilmek için birçok yöntem geliştirilmiştir. Önceleri, operatörler görüntüleri tek tek inceleyerek analiz etmekte iken, günümüzde nesne tabanlı ve piksel tabanlı veri çıkarımları geliştirilmiştir. Bu yöntemler sayesinde, veriler hızlı ve yüksek doğruluk oranına sahip olacak şekilde yazılımlar tarafından ayrıştırılabilmektedir. Segmentasyon ve sınıflandırma yöntemleri sayesinde kategorilendirme, alt sınıflara bölme, ayrıştırma, tespit etme gibi işlemlerin yapılması kolaylaşmaktadır. Büyük ve karmaşık verilerin analizi için veri üzerinde yapılacak segmentasyon ve sınıflandırma işlemleri oldukça kritik öneme sahiptir. Birçok çalışma göstermektedir ki bu teknikler ve uygulamalar her geçen gün gelişmekte ve literatüre girmektedir. Bu çalışma kapsamında, insansız hava araçları ile yapılan segmentasyon ve sınıflandırma çalışmalarına değinilmiş, çalışmaların sonuçları irdelenmiştir. Hibrit ve derin öğrenme temelli teknikler kullanılan çalışmaların diğer çalışmalara göre daha verimli sonuçlar ürettiği görülmektedir.

Anahtar Kelimeler

• İHA
• Segmentasyon
• Sınıflandırma
• Görüntü İşleme
• Derin Öğrenme

Kaynakça

1. Akar, A., Akar, Ö., & Bayata, H. F. (2021). SenseFly eBeeX İHA ile Üretilen Ortofotonun Konum Doğruluğunun İncelenmesi. Türkiye İnsansız Hava Araçları Dergisi, 3(2), 65-68.
2. Albayrak, E. (2021). Derin öğrenme ile İHA görüntülerinden nesne tespitinin yapılması (Master's thesis, Bilecik Şeyh Edebali Üniversitesi, Fen Bilimleri Enstitüsü).
3. Alptekin, A., & Yakar, M. (2020). Heyelan bölgesinin İHA kullanarak modellenmesi. Türkiye İnsansız Hava Araçları Dergisi, 2(1), 17-21.
4. Amin, M., Abdullah, S., Abdul Mukti, S. N., Mohd Zaidi, M. H. A., & Tahar, K. N. (2020). Reconstruction of 3D accident scene from multirotor UAV platform. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 43, 451-458.
5. Bhadoria, P., Agrawal, S., & Pandey, R. (2020, December). Image segmentation techniques for remote sensing satellite images. In IOP Conference Series: Materials Science and Engineering (Vol. 993, No. 1, p. 012050). IOP Publishing.
6. Ceylan, M. C., & Uysal, M. (2021). İnsansız hava aracı ile elde edilen veriler yardımıyla ağaç çıkarımı. Türkiye Fotogrametri Dergisi, 3(1), 15-21.
7. Changchun, L., Li, S., Hai-bo, W., & Tianjie, L. (2010, March). The research on unmanned aerial vehicle remote sensing and its applications. In 2010 2nd International Conference on Advanced Computer Control (Vol. 2, pp. 644-647). IEEE.
8. Cilek, A., BERBEROĞLU, S., DÖNMEZ, C., & ÜNAL, M. (2020). Generation of high-resolution 3-D maps for landscape planning and design using UAV technologies. Journal of Digital Landscape Architecture, 5(1).

9. Donmez, C., Villi, O., Berberoglu, S., & Cilek, A. (2021). Computer vision-based citrus tree detection in a cultivated environment using UAV imagery. Computers and Electronics in Agriculture, 187, 106273.
10. Elmas, E. E. (2019). Bir insansız hava aracı gerçekleştirme ve hareketli nesnelerin tespit ve takibinde kullanımı (Doctoral dissertation, Yüksek lisans tezi, Gazi Üniversitesi, Fen Bilimleri Enstitüsü, Ankara, 122s).
11. Garre, P., & Harish, A. (2018, December). Autonomous agricultural pesticide spraying uav. In IOP Conference Series: Materials Science and Engineering (Vol. 455, p. 012030). IOP Publishing.
12. Ge, X., Wang, J., Ding, J., Cao, X., Zhang, Z., Liu, J., & Li, X. (2019). Combining UAV-based hyperspectral imagery and machine learning algorithms for soil moisture content monitoring. PeerJ, 7, e6926.
13. Ghali, R., Akhloufi, M. A., & Mseddi, W. S. (2022). Deep learning and transformer approaches for UAV-based wildfire detection and segmentation. Sensors, 22(5), 1977.
14. Girisha, S., Verma, U., Pai, M. M., & Pai, R. M. (2021). Uvid-net: Enhanced semantic segmentation of uav aerial videos by embedding temporal information. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14, 4115-4127.
15. Gök, G., Küçük, S., Kurt, M., & Tarı, E. (2023, July). A u-net based segmentation and classification approach over orthophoto maps of archaeological sites. In 2023 31st Signal Processing and Communications Applications Conference (SIU) (pp. 1-4). IEEE.
16. Honkavaara, E., Eskelinen, M. A., Pölönen, I., Saari, H., Ojanen, H., Mannila, R., ... & Pulkkanen, M. (2016). Remote sensing of 3-D geometry and surface moisture of a peat production area using hyperspectral frame cameras in visible to short-wave infrared spectral ranges onboard a small unmanned airborne vehicle (UAV). IEEE Transactions on Geoscience and Remote Sensing, 54(9), 5440-5454.
17. Jasim, W. A. N., & Mohammed, R. J. (2021). A Survey on Segmentation Techniques for Image Processing. Iraqi Journal for Electrical & Electronic Engineering, 17(2).
18. Jiao, Z., Zhang, Y., Xin, J., Mu, L., Yi, Y., Liu, H., & Liu, D. (2019, July). A deep learning based forest fire detection approach using UAV and YOLOv3. In 2019 1st International conference on industrial artificial intelligence (IAI) (pp. 1-5). IEEE.
19. Kannan, S. S., & Min, B. C. (2022, June). Autonomous Drone Delivery to Your Door and Yard. In 2022 International Conference on Unmanned Aircraft Systems (ICUAS) (pp. 452-461). IEEE.
20. Kanun, E., Alptekin, A., & Yakar, M. (2021). Cultural heritage modelling using UAV photogrammetric methods: a case study of Kanlıdivane archeological site. Advanced UAV, 1(1), 24-33.
21. Kanun, E., Alptekin, A., Karataş, L., & Yakar, M. (2022). The use of UAV photogrammetry in modeling ancient structures: A case study of “Kanytellis”. Advanced UAV, 2(2), 41-50.
22. Karataş, L., Alptekin, A., & Yakar, M. (2022). Detection and documentation of stone material deterioration in historical masonry structures using UAV photogrammetry: A case study of Mersin Aba Mausoleum. Advanced UAV, 2(2), 51-64.
23. Karataş, L., Alptekin, A., Karabacak, A., & Yakar, M. (2022). Detection and documentation of stone material deterioration in historical masonry buildings using UAV photogrammetry: A case study of Mersin Sarisih Inn. Mersin Photogrammetry Journal, 4(2), 53-61.
24. Lan, Y., Huang, K., Yang, C., Lei, L., Ye, J., Zhang, J., ... & Deng, J. (2021). Real-time identification of rice weeds by UAV low-altitude remote sensing based on improved semantic segmentation model. Remote Sensing, 13(21), 4370.
25. Lee, S., & Choi, Y. (2016). Reviews of unmanned aerial vehicle (drone) technology trends and its applications in the mining industry. Geosystem Engineering, 19(4), 197-204.
26. Lin, Y., Jiang, M., Yao, Y., Zhang, L., & Lin, J. (2015). Use of UAV oblique imaging for the detection of individual trees in residential environments. Urban forestry & urban greening, 14(2), 404-412.
27. Maraş, E. E., & Sarıyıldız, H. İ. (2023). İHA ile derin öğrenme algoritmaları kullanılarak hasarlı yapıların tespit edilmesi. Afyon Kocatepe Üniversitesi Fen ve Mühendislik Bilimleri Dergisi, 23(2), 427-437.
28. Mathworks (2024). Rgb2gray. https://www.mathworks.com/help/matlab/ref/rgb2gray.html. Son Erişim Tarihi: 20.02.2024.
29. Mathworks (2024). What is image thresholding?. https://www.mathworks.com/discovery/image-thresholding.html. Son Erişim Tarihi: 20.02.2024.
30. Minaee, S., Boykov, Y., Porikli, F., Plaza, A., Kehtarnavaz, N., & Terzopoulos, D. (2021). Image segmentation using deep learning: A survey. IEEE transactions on pattern analysis and machine intelligence, 44(7), 3523-3542.
31. Muchiri, G. N., & Kimathi, S. (2022, April). A review of applications and potential applications of UAV. In Proceedings of the Sustainable Research and Innovation Conference (pp. 280-283).
32. Muchiri, G. N., & Kimathi, S. (2022, April). A review of applications and potential applications of UAV. In Proceedings of the Sustainable Research and Innovation Conference (pp. 280-283).
33. Pai, M. M., Mehrotra, V., Aiyar, S., Verma, U., & Pai, R. M. (2019, June). Automatic segmentation of river and land in sar images: A deep learning approach. In 2019 IEEE second international conference on artificial intelligence and knowledge engineering (AIKE) (pp. 15-20). IEEE.
34. Queralta, J. P., Raitoharju, J., Gia, T. N., Passalis, N., & Westerlund, T. (2020). Autosos: Towards multi-uav systems supporting maritime search and rescue with lightweight ai and edge computing. arXiv preprint arXiv:2005.03409.
35. Safonova, A., Guirado, E., Maglinets, Y., Alcaraz-Segura, D., & Tabik, S. (2021). Olive tree biovolume from UAV multi-resolution image segmentation with mask R-CNN. Sensors, 21(5), 1617.
36. Seyrek, E. C., Narin, Ö. G., Koçak, T., & Uysal, M. (2021). Yüzey araştırmalarında İHA fotogrametrisinin kullanımı: Kolankaya Siperleri örneği. Türkiye Fotogrametri Dergisi, 3(2), 69-75.
37. Singh, A., Kalke, H., Loewen, M., & Ray, N. (2020). River ice segmentation with deep learning. IEEE Transactions on Geoscience and Remote Sensing, 58(11), 7570-7579.
38. Şasi, A., & Yakar, M. (2017). Photogrammetric modelling of sakahane masjid using an unmanned aerial vehicle. Turkish Journal of Engineering, 1(2), 82-87.
39. Tonbul, H., & Kavzoğlu, T. (2017). Nesne-Tabanlı Sınıflandırmada Segmentasyon (Bölütleme) Kalitesinin Sınıflandırma Doğruluğu Üzerine Etkisinin İncelenmesi. Afyon Kocatepe Üniversitesi Fen ve Mühendislik Bilimleri Dergisi, 118-125.
40. Torunlar, H., Tuğaç, M. G., & Duyan, K. (2021). Nesne Tabanlı Sınıflandırma Yönteminde Sentinel-2A Uydu Görüntüleri Kullanılarak Tarımsal Ürün Desenlerinin Belirlenmesi; Konya-Karapınar Örneği. Türkiye Uzaktan Algılama Dergisi, 3(2), 36-46.
41. Unmanned Systems Technology (2022). Drone Camera Gimbals, Mounts & Stabilizers - Custom and COTS Gimbals. https://www.unmannedsystemstechnology.com/company/hd-air-studio/infinity-mr-pro/. Son Erişim Tarihi: 10.12.2023.
42. Villi, O. (2019). İnsansız Hava Araçlarında Çok Bantlı Kamera Entegrasyonu ve Tarımsal Uygulamaları (Doctoral dissertation, Yüksek Lisans Tezi, Çukurova Üniversitesi, Fen Bilimleri Enstitüsü, Adana, 89s).
43. Villi, O., & Yakar, M. (2022). İnsansız Hava Araçlarının Kullanım Alanları ve Sensör Tipleri. Türkiye İnsansız Hava Araçları Dergisi, 4(2), 73-100.
44. Villi, O., & Yakar, M. (2023). İnsansız Hava Araçları ve Coğrafi Bilgi Sistemleri Uygulamaları. Türkiye Coğrafi Bilgi Sistemleri Dergisi, 5(1), 20-33.
45. Yakar, M., & Villi, O. (2023). İnsansız Hava Aracı Uygulama Alanları. Mersin Üniversitesi Harita Mühendisliği Kitapları.
46. Yi, S., Liu, X., Li, J., & Chen, L. (2023). Uavformer: a composite transformer network for urban scene segmentation of UAV images. Pattern Recognition, 133, 109019.
47. Yiğit, A. Y., & Uysal, M. (2019). Nesne Tabanlı Sınıflandırma Yaklaşımı Kullanılarak Yolların Tespiti. Türkiye Fotogrametri Dergisi, 1(1), 17-24.
48. Yiğit, A. Y., & Uysal, M. (2021). Yüksek çözünürlüklü insansız hava aracı (İHA) görüntülerinden karayolların tespiti. Bitlis Eren Üniversitesi Fen Bilimleri Dergisi, 10(3), 1040-1054.
49. Yu, Y., Wang, C., Fu, Q., Kou, R., Huang, F., Yang, B., ... & Gao, M. (2023). Techniques and challenges of image segmentation: A review. Electronics, 12(5), 1199.
50. Zakiyyatuddin, A., Evita, M., Srigutomo, W., Meilano, I., & Djamal, M. (2021, February). Geospatial Survey Analysis for 3D Field and Building Mapping using DJI Drone and Intelligent Flight Battery. In Journal of Physics: Conference Series (Vol. 1772, No. 1, p. 012015). IOP Publishing.
51. Zhang, C., Zhou, J., Wang, H., Tan, T., Cui, M., Huang, Z., ... & Zhang, L. (2022). Multi-species individual tree segmentation and identification based on improved mask R-CNN and UAV imagery in mixed forests. Remote Sensing, 14(4), 874.