Effects of Different Deep Learning Algorithms on Real-Time UAV Detection

Year 2024, Volume: 12 Issue: 2, 691 - 706, 29.06.2024

Ferda Nur Arıcı , Hediye Orhan

https://doi.org/10.29109/gujsc.1406837

Abstract

The aviation industry is constantly developing in our country and around the world. With changing and developing technologies, unmanned aerial vehicles (UAVs) have begun to be used for different purposes in many sectors. Usage areas of UAVs; Military applications, geological and meteorological research, natural disaster management, agricultural exploration, transportation, earth mapping and three-dimensional modeling can be given as examples. The use of UAVs in the military field in our country is increasing day by day. The most important of these are target detection, target shooting and target tracking. In target shooting, the hit is carried out after the target is detected with the cameras on the UAV. It is very important to identify the target correctly. In order for a UAV to perform its fully autonomous mission, it must detect targets and perform escape maneuvers. For this, the accuracy of target detection must be high and it must work in real time. The aim of this research is to enable a UAV to detect the target in real time during its autonomous mission. In line with the research purpose, artificial intelligence techniques were used to detect the target UAV. The data set created for real-time target detection was trained with different algorithms and the algorithm that gave proportionally high accuracy and high frame per second (FPS) value was selected. The results obtained were analyzed. Thus, real-time target detection was achieved.

Keywords

uav, image processing, deep learning, opencv, artificial intelligence

Supporting Institution

TUBITAK

Project Number

1919B012203674

Thanks

This research was supported within the scope of TÜBİTAK 2209-A University Students Research Projects Support Program. The financial resources and support provided by TÜBİTAK contributed to the realization of this research and helped us gain scientific research experience. We would like to thank TÜBİTAK for their financial and moral support in the realization of this research, whose project number is 1919B012203674.

Farklı Derin Öğrenme Algoritmalarının Gerçek Zamanlı İHA Tespitine Etkileri

Abstract

Ülkemizde ve dünyada havacılık sektörü sürekli olarak gelişmektedir. Değişen ve gelişen teknolojiler ile birlikte insansız hava araçları (İHA) da pek çok sektörde farklı amaçlar doğrultusunda kullanılmaya başlanmıştır. İHA’ların kullanım alanlarına; başta askeri uygulamalar olmak üzere, jeolojik ve meteorolojik araştırmalar, doğal afet yönetimi, tarımsal keşifler, ulaştırma, yeryüzünün haritalanması ve üç boyutlu modelleme örnekleri verilebilir. Ülkemizde askeri alanda İHA kullanımı her geçen gün artmaktadır. Bunların başında hedef tespiti, hedef vuruşu ve hedef takibi gelmektedir. Hedef vuruşunda İHA üzerindeki kameralar ile hedef tespit edildikten sonra vuruş gerçekleştirilmektedir. Hedefin doğru tespit edilmesi çok önemlidir. Bir İHA’nın tam otonom görevini gerçekleştirebilmesi için hedefleri tespit edip kaçış manevraları uygulaması gerekmektedir. Bunun için hedef tespitinin doğruluk değeri yüksek olmalıdır ve gerçek zamanlı olarak çalışmalıdır. Bu araştırmadaki amaç bir İHA’nın otonom görevi sırasında gerçek zamanlı olarak hedefi tespit etmesini sağlamaktır. Araştırma amacı doğrultusunda hedef İHA’nın tespiti için yapay zekâ teknikleri kullanılmıştır. Gerçek zamanlı hedef tespiti için oluşturulan veri seti farklı algoritmalar ile eğitilip orantılı olarak yüksek doğruluk değeri ve saniyede yüksek görüntü sayısı (frame per second (FPS)) veren algoritma seçilmiştir. Elde edilen sonuçlar analiz edilmiştir. Böylece gerçek zamanlı hedef tespiti yapılmıştır.

Keywords

iha, görüntü işleme, derin öğrenme, opencv, yapay zekâ.

Supporting Institution

TÜBİTAK

Project Number

1919B012203674

Thanks

Bu araştırma, TÜBİTAK 2209-A Üniversite Öğrencileri Araştırma Projeleri Destekleme Programı kapsamında desteklenmiştir. TÜBİTAK'ın sağladığı maddi kaynaklar ve destek, bu araştırmanın gerçekleşmesine katkı sağlamıştır ve bilimsel araştırma deneyimi elde etmemize yardımcı olmuştur. Proje numarası 1919B012203674 olan bu araştırmanın gerçekleştirilmesinde maddi ve manevi desteklerinden dolayı TÜBİTAK'a teşekkür ederiz.

References

• [1] Akyürek, S., M.A. Yılmaz, and M. Taşkıran, İnsansız Hava Araçları: Muhabere Alanında ve Terörle Mücadelede Devrimsel Dönüşüm. Bilge Adamlar Stratejik Araştırma Merkezi, Ankara, 2012.
• [2] ANKA İHA. Available from: https://www.tusas.com/urunler/iha/operatif-stratejik-iha-sistemleri/anka.
• [3] Vestel Karayel İHA. Available from: https://www.vestel.com.tr/content/karayel.
• [4] Ekmekcioglu, A. and M. Yıldız, İnsansız Hava Araçlarının Askeri ve Sivil Alanlarda Kullanımı: ABD ve Türkiye Örnekleri ve Bazı Politika Önerileri. Türk İdare Dergisi: p. 169.
• [5] Bayraktar TB2. Available from: https://www.baykartech.com/tr/uav/bayraktar-tb2/.
• [6] Bayraktar TB3. Available from: https://baykartech.com/tr/bayraktar-tb3/.
• [7] Kayaalp, K. and A.A. Süzen, Derin Öğrenme. Derin Öğrenme ve Türkiye’deki Uygulamaları, Adıyaman, Türkiye: İKSAD Yayınevi, 2018: p. 25-28.
• [8] Nvidia Jetson Nano Developer Kit. Available from: https://developer.nvidia.com/embedded/jetson-nano-developer-kit.
• [9] Keras Library. Available from: https://keras.io/.
• [10] LabelImg. Available from: https://github.com/tzutalin/labelImg.
• [11] Tensorflow Library. Available from: https://www.tensorflow.org/?hl=tr.
• [12] Du, J. Understanding of object detection based on CNN family and YOLO. in Journal of Physics: Conference Series. 2018. IOP Publishing.
• [13] Orhan, H. and E. YAVŞAN, Artificial intelligence-assisted detection model for melanoma diagnosis using deep learning techniques. Mathematical Modelling and Numerical Simulation with Applications, 2023. 3(2): p. 159-169.
• [14] Aktaş, A., Ö. DEMİR, and B. DOĞAN, Derin öğrenme yöntemleri ile dokunsal parke yüzeyi tespiti. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 2020. 35(3): p. 1685-1700.
• [15] Zhou, D., et al. Iou loss for 2d/3d object detection. in 2019 international conference on 3D vision (3DV). 2019. IEEE.
• [16] Deng, J., et al. A review of research on object detection based on deep learning. in Journal of Physics: Conference Series. 2020. IOP Publishing.
• [17] Sang, J., et al., An improved YOLOv2 for vehicle detection. Sensors, 2018. 18(12): p. 4272.
• [18] Aswini, N. and S. Uma. Custom Based Obstacle Detection Using Yolo v3 for Low Flying Drones. in 2021 International Conference on Circuits, Controls and Communications (CCUBE). 2021. IEEE.
• [19] Bochkovskiy, A., C.-Y. Wang, and H.-Y.M. Liao, Yolov4: Optimal speed and accuracy of object detection. arXiv preprint arXiv:2004.10934, 2020.
• [20] Li, S., et al., Yolo-firi: Improved yolov5 for infrared image object detection. IEEE access, 2021. 9: p. 141861-141875.
• [21] Şekil 3. Available from: https://www.geeksforgeeks.org/yolo-you-only-look-once-real-time-object-detection/.
• [22] Wang, C.-Y., A. Bochkovskiy, and H.-Y.M. Liao. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors. in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.
• [23] Li, C., et al., YOLOv6: A single-stage object detection framework for industrial applications. arXiv preprint arXiv:2209.02976, 2022.
• [24] Schmidt-Hieber, J., Nonparametric regression using deep neural networks with ReLU activation function. 2020.
• [25] Dubey, A.K. and V. Jain. Comparative study of convolution neural network’s relu and leaky-relu activation functions. in Applications of Computing, Automation and Wireless Systems in Electrical Engineering: Proceedings of MARC 2018. 2019. Springer.
• [26] Şekil 6. Available from: https://developer.qualcomm.com/software/qualcomm-neural-processing-sdk/learning-resources/developing-apps-with-neural-processing-sdk/tuning-optimizing-machine-learning.
• [27] Bisong, E. and E. Bisong, Google colaboratory. Building machine learning and deep learning models on google cloud platform: a comprehensive guide for beginners, 2019: p. 59-64.
• [28] Jiang, Z., et al., Real-time object detection method based on improved YOLOv4-tiny. arXiv preprint arXiv:2011.04244, 2020.
• [29] BalenaEtcher. Available from: https://github.com/balena-io/etcher.
• [30] Opencv. Available from: https://qengineering.eu/install-opencv-on-jetson-nano.html.
• [31] TensorRT. Available from: https://developer.nvidia.com/tensorrt.
• [32] PYQT5. Available from: https://pypi.org/project/PyQt5/.
• [33] Liu, M., et al., Uav-yolo: Small object detection on unmanned aerial vehicle perspective. Sensors, 2020. 20(8): p. 2238.
• [34] Hu, Y., et al. Object detection of UAV for anti-UAV based on improved YOLO v3. in 2019 Chinese Control Conference (CCC). 2019. IEEE.
• [35] Sahin, O. and S. Ozer. YOLODrone+: improved YOLO architecture for object detection in UAV images. in 2022 30th Signal Processing and Communications Applications Conference (SIU). 2022. IEEE.
• [36] ALTINÖRS, A. and S. ÇELİK, YOLOv3 Derin Öğrenme Algoritması ile İHA Görüntülerinden Çevresel Atık Tespiti. International Journal of Innovative Engineering Applications. 7(1): p. 76-85.
• [37] Albayrak, E., Derin öğrenme ile İHA görüntülerinden nesne tespitinin yapılması. 2021, Bilecik Şeyh Edebali Üniversitesi, Fen Bilimleri Enstitüsü.
• [38] Li, Y., et al., A Modified YOLOv8 Detection Network for UAV Aerial Image Recognition. Drones, 2023. 7(5): p. 304.
• [39] Liu, B. and H. Luo, An improved Yolov5 for multi-rotor UAV detection. Electronics, 2022. 11(15): p. 2330.
• [40] Shi, Q. and J. Li. Objects detection of UAV for anti-UAV based on YOLOv4. in 2020 IEEE 2nd International Conference on Civil Aviation Safety and Information Technology (ICCASIT. 2020. IEEE.