YOLOv8 Tabanlı 2B Nesne Tespiti ve Işın İzleme Entegrasyonu ile Fotogrametrik Ağaç Modeli Üzerinde Şeftali Meyvelerinin Coğrafi Referanslı 3B Konumlandırılması

Abstract

Bu çalışmada, tarımsal alanlarda şeftali meyvelerinin otomatik tespiti ve üç boyutlu gerçek dünya konumlarının belirlenmesine yönelik derin öğrenme ve fotogrametri tabanlı bütünleşik bir yöntem sunulmaktadır. İHA ve yer tabanlı kameralarla farklı bakış açıları ve aydınlatma koşullarında elde edilen görüntüler ve açık kaynaklı hazırlanan benzer veri setleri ile zenginleştirilerek oluşturulan veri seti 3463 adet etiket ile YOLOv8 formatında hazırlanmıştır. Bu veri seti ile eğitilen YOLOv8 modeli kullanılarak şeftali meyvelerinin iki boyutlu tespiti görüntüler üzerinde gerçekleştirilmiştir. Model performansı test verileri üzerinde mAP50 ve mAP50–95 değerleri sırasıyla %84,62 ve %60,33 olarak elde edilmiştir. 2B tespit sonuçları, kamera dış yöneltme parametreleri kullanılarak ışın izleme yöntemiyle fotogrametrik 3B modele aktarılmıştır. Toplam 340 ışından 268’inin mesh yüzeyiyle kesiştiği belirlenmiş, aynı meyveye ait çoklu kesişimler DBSCAN tabanlı kümelenme yöntemiyle elimine edilmiştir. Sonuç olarak, ağaç üzerinde bulunan 14 şeftaliden 13’ü 3B model üzerinde konumlandırılmıştır; tespit edilemeyen meyvenin yoğun yaprak örtüsü nedeniyle görüntülerde görünür olmadığı gözlemlenmiştir. Meyvelerin mekânsal konumları; kullanılan 3B altlık modelin üretim aşamasında ışın demeti blok dengelemesi ve Yer Kontrol Noktaları (YKN) kullanılarak ITRF96 (TM27 direkt olarak referans koordinat sisteminde elde edilmiştir. Önerilen yöntem, literatürde çoğunlukla ayrı ayrı ele alınan 2B nesne tespiti ile 3B mekânsal konumlandırma süreçlerini tek bir otomatik iş akışında birleştirerek, tarımsal ürünlerin uzaysal dağılımının santimetre mertebesinde belirlenmesine olanak sağlamaktadır. Bu yönüyle çalışma; ürün sayımı, verim analizi ve hassas tarım uygulamaları için yenilikçi, uygulanabilir ve yüksek doğruluklu bir çözüm sunmaktadır.

Keywords

• derin öğrenme
• fotogrametri
• nesne tespiti

YOLOv8-Based 2D Detection and Ray-Casting Integration for Georeferenced 3D Localization of Peach Fruits on a Photogrammetric Tree Model

Abstract

This study presents an integrated method based on deep learning and photogrammetry for the automatic detection of peach fruits in agricultural fields and the determination of their three-dimensional real-world locations. The dataset, enriched with images obtained from UAV and ground-based cameras at different viewing angles and lighting conditions, as well as similar datasets prepared from open sources, was prepared in YOLOv8 format with 3463 labels. Using the YOLOv8 model trained with this dataset, two-dimensional detection of peach fruits was performed on the images. Model performance on test data yielded mAP50 and mAP50–95 values of 84.62% and 60.33%, respectively. The 2D detection results were transferred to a photogrammetric 3D model using ray tracing with camera orientation parameters. It was determined that 268 of the total 340 rays intersected with the mesh surface, and multiple intersections belonging to the same fruit were eliminated using the DBSCAN-based clustering method. As a result, 13 of the 14 peaches on the tree were located on the 3D model; it was observed that the undetected fruit was not visible in the images due to dense leaf cover. The spatial locations of the fruits were obtained directly in ITRF96 (TM27) referrence coordinate system as a result of Bundle Block Adjustment by using Ground Control Points (GCPs).The proposed method combines the processes of 2D object detection and 3D spatial localization, which are mostly addressed separately in the literature, into a single automated workflow, enabling the determination of the spatial distribution of agricultural products at the centimeter level. In this regard, the study offers an innovative, applicable, and highly accurate solution for crop counting, yield analysis, and precision farming applications.

Keywords

• deep learning
• object detection
• photogrammetry

References

1. Alami, A. and Remondino, F (2025).: Towards annotation-less semantic segmentation of aerial point clouds, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci.
2. Albayrak E. (2021): Derin Öğrenme ile İHA Görüntülerinden Nesne Tespitinin Yapılması. Yüksek Lisans Tezi, Bilecik Şeyh Edebali Üniversitesi, Fen Bilimleri Enstitüsü.
3. Ataberdiyev K. (2022) İnsansız Hava Aracı Sistemi ile Çekilen Multispektral Zaman Serisi Görüntüleri ve Makine Öğrenmesi ile Bazı Bitki Türlerinin Sınıflandırılması. Yüksek Lisans Tezi, Ondokuz Mayıs Üniversitesi, Fen Bilimleri Enstitüsü.
4. Atmaca A.Ş. (2024) Derin Öğrenme Yaklaşımıyla Gerçek Zamanlı Görüntüler Üzerinde Tehlikeli Nesne Tespiti. Yüksek Lisans Tezi, Bursa Uludağ Üniversitesi, Fen Bilimleri Enstitüsü.
5. Biçgi M. ve Karaca İ.:(2022) Nesne Tespit Algoritması (YOLOv4) Kullanarak Patates Böceğinin (Leptinotarsa decemlineata) (Say) Patates Bitkisi Üzerinde Tespiti ve Populasyon İzleme Olanakları. Turkish Journal of Science and Engineering.
6. Demo. (2024). Peaches Dataset [Veri seti], 60 Görüntü. Roboflow.
7. Gülmez F. (2024): İHA ve Yersel Fotogrametri Yöntemlerinin Entegrasyonu ile 3B Bina Modelleme: YTÜ Prototip Laboratuvarı Örneği. Yüksek Lisans Tezi, Yıldız Teknik Üniversitesi, Fen Bilimleri Enstitüsü.
8. Gündüz, T. (2023). Derinlik Kamerası ile Derin Öğrenme Tabanlı Nesne Tespiti. Yüksek Lisans Tezi, İskenderun Teknik Üniversitesi, Fen Bilimleri Enstitüsü.

9. Hajjaji, Y., Boulila, W., Farah, I. R., & Koubaa, A. (2025). Enhancing palm precision agriculture: An approach based on deep learning and UAVs for efficient palm tree detection. Ecological Informatics. İpek, C. (2025). seftali Dataset [Veri seti], 76 Görüntü. Roboflow.
10. Karadağ B. ve Arı A. (2023): Akıllı Mobil Cihazlarda YOLOv7 Modeli ile Nesne Tespiti. Politeknik Dergisi. Li, Yaodi & Xue, Jianxin & Zhang, Mingyue & Yin, Junyi & Liu, Yang & Qiao, Xindan & Zheng, Decong & Li, Zezhen. (2023). YOLOv5-ASFF: A Multistage Strawberry Detection Algorithm Based on Improved YOLOv5.
11. Mohammad M. T. (2020) Gezgin Robotlar için İç Mekanlarda 3-B Stereo Kameraya Dayalı Nesne Tespiti ile Engellerden Kaçınma. Yüksek Lisans Tezi, Bahçeşehir Üniversitesi.
12. Nergiz, M. (2023). Enhancing Strawberry Harvesting Efficiency through Yolo-v7 Object Detection Assessment. Turkish Journal of Science and Technology.
13. Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You only look once: Unified, real-time object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [e-mail]. (2022). peach Dataset [Veri seti], 127 Görüntü. Roboflow.
14. Sıkar, R. B., & Bozatlı Kartal, S. (2025). Smart traffic monitoring with YOLOv9 object detection algorithm. Akıllı Ulaşım Sistemleri ve Uygulamaları Dergisi.
15. Şensu C. (2024): Makine Öğrenmesi ile Bitki Türü Sınıflandırma Projesi. İzmir Kâtip Çelebi Üniversitesi, Fen Bilimleri Enstitüsü.
16. Toroman S. (2018) Derin Öğrenme ile İnsansız Hava Aracı Görüntülerinden Yaya Tespiti. Journal of Aviation Usta A. (2022): İnsansız Hava Aracından Çekilen Videolar Kullanılarak Derin Öğrenme Yaklaşımı ile Nesne Tespiti. Yüksek Lisans Tezi, Dicle Üniversitesi, Fen Bilimleri Enstitüsü.
17. Villalobos-Salazar, R. D. J., Contreras Carlos, A., Juarez-Maldonado, A., & Morales-Diaz, A. (2026). Early detection of Hellula undalis in Brassica oleracea var capitata L.: A real-time drone based approach using YOLOv8. Smart Agricultural Technology.
18. Wolf, P. R., & Dewitt, B. A. (2000). Elements of Photogrammetry with Applications in GIS. 3rd Edition.