Enhancing Strawberry Harvesting Efficiency through Yolo-v7 Object Detection Assessment

Abstract

Strawberry fruits which are rich in vitamin A and carotenoids offer benefits for maintaining healthy epithelial tissues and promoting maturity and growth. The intensive cultivation and swift maturation of strawberries make them susceptible to premature harvesting, leading to spoilage and financial losses for farmers. This underscores the need for an automated detection method to monitor strawberry development and accurately identify growth phases of fruits. To address this challenge, a dataset called Strawberry-DS, comprising 247 images captured in a greenhouse at the Agricultural Research Center in Giza, Egypt, is utilized in this research. The images of the dataset encompass various viewpoints, including top and angled perspectives, and illustrate six distinct growth phases: "green", “red”, "white", "turning", "early-turning" and "late-turning". This study employs the Yolo-v7 approach for object detection, enabling the recognition and classification of strawberries in different growth phases. The achieved mAP@.5 values for the growth phases are as follows: 0.37 for "green," 0.335 for "white," 0.505 for "early-turning," 1.0 for "turning," 0.337 for "late-turning," and 0.804 for "red". The comprehensive performance outcomes across all classes are as follows: precision at 0.792, recall at 0.575, mAP@.5 at 0.558, and mAP@.5:.95 at 0.46. Notably, these results show the efficacy of the proposed research, both in terms of performance evaluation and visual assessment, even when dealing with distracting scenarios involving imbalanced label distributions and unclear labeling of developmental phases of the fruits. This research article yields advantages such as achieving reasonable and reliable identification of strawberries, even when operating in real-time scenarios which also leads to a decrease in expenses associated with human labor.

Keywords

• Strawberry
• Yolo-v7
• Object detection
• Agriculture
• Deep learning

Yolo-v7 Nesne Tespiti ile Çilek Hasat Verimliliğinin Artırılması

Abstract

A vitamini ve karotenoidler açısından zengin olan çilek meyveleri, sağlıklı epitel dokularını korur ve büyümeyi destekleyici faydalar sunar. Çileklerin yoğun ekimi ve hızlı olgunlaşması, bu meyveyi erken hasada duyarlı hale getirerek, çiftçiler için çürük hasat elde etmeye ve mali kayıplara yol açar. Bu durum, çilek gelişimini izlemek ve meyvelerin büyüme aşamalarını doğru bir şekilde belirlemek için otomatik bir algılama yöntemine olan ihtiyacı arttırmaktadır. Bu zorluğun üstesinden gelmek için, bu araştırmada Mısır'ın Giza kentindeki Tarımsal Araştırma Merkezi'ndeki bir serada çekilen 247 görüntüden oluşan Strawberry-DS adlı bir veri seti kullanılmıştır. Veri kümesinin görüntüleri, üstten ve açılı perspektifler dâhil olmak üzere çeşitli bakış açılarını kapsayacak şekilde altı farklı büyüme aşamasını içermektedir: "yeşil", "kırmızı", "beyaz", "dönüşüm", "erken-dönüşüm" ve "geç-dönüşüm". Bu çalışma, farklı büyüme evrelerindeki çileklerin tanınmasını ve sınıflandırılmasını tespit etmek için Yolo-v7 nesne tespiti yöntemini kullanmaktadır. Büyüme aşamaları için elde edilen mAP@.5 değerleri şu şekildedir: "yeşil" için 0,37, "beyaz" için 0,335, "erken-dönüşüm" için 0,505, "dönüşüm" için 1,0, "geç-dönüşüm" için 0,337 ve "kırmızı" için 0,804. Tüm sınıflardaki kapsamlı performans sonuçları ise şu şekildedir: 0,792'de kesinlik, 0,575'te hatırlama, 0,558'de mAP@.5 ve 0,46'da mAP@.5:.95. Özellikle, bu sonuçlar, dengesiz etiket dağılımları ve meyvelerin gelişim evrelerinin etiketlerinin net olmaması gibi etiketleri de içeren bir veri seti ile eğitilip test edilmesine rağmen, hem performans değerlendirmesi hem de görsel değerlendirme açısından önerilen araştırmanın etkinliğini göstermektedir. Bu araştırma makalesi, gerçek zamanlı senaryolarda çalışırken bile çileklerin makul ve güvenilir bir şekilde tespit edilmesi gibi avantajlar sağlamakta ve bu da işçilik maliyetlerinde azalmayı sağlamaktadır.

Keywords

• Çilek
• Yolo-v7
• Nesne tanıma
• Tarım
• Derin öğrenme

References

1. Li Y, Xue J, Zhang M, Yin J, Liu Y, Qiao X, Zheng D, Li Z. YOLOv5-ASFF: A Multistage Strawberry Detection Algorithm Based on Improved YOLOv5. Agronomy 2023; 13(7): 1901.
2. Baby B, Antony P, Vijayan R. Antioxidant and anticancer properties of berries. Crit. Rev. Food Sci. Nutr 2018; 58(15): 2491–2507.
3. Zhou C, Hu J, Xu Z, Yue J, Ye H, Yang G. A Novel Greenhouse-Based System for the Detection and Plumpness Assessment of Strawberry Using an Improved Deep Learning Technique. Front. Plant Sci. 2020; 11, 559: 1–13.
4. He Z, Khana SR, Zhang X, Karkee M, Zhang Q. Real-time Strawberry Detection Based on Improved YOLOv5s Architecture for Robotic Harvesting in open-field environment. arxiv.org 2023; . Available: http://arxiv.org/abs/2308.03998.
5. Charlton D, Castillo M. Potential Impacts of a Pandemic on the US Farm Labor Market. Appl. Econ. Perspect. Policy 2021; 43(1): 39–57
6. Lemsalu M, Bloch V, Backman J, Pastell M. Real-Time CNN-based Computer Vision System for Open-Field Strawberry Harvesting Robot. IFAC-PapersOnLine 2022; 55(32): 24–29.
7. Baygin M, Tuncer T, Dogan S. New pyramidal hybrid textural and deep features based automatic skin cancer classification model: Ensemble DarkNet and textural feature extractor. arxiv.org 2022; . Available: http://arxiv.org/abs/2203.15090.
8. Yaman O, Tuncer T. Exemplar pyramid deep feature extraction based cervical cancer image classification model using pap-smear images. Biomed. Signal Process. Control 2022; 73:103428.

9. Baygin M, Yaman O, Barua PD, Dogan S, Tuncer T, Acharya UR. Exemplar Darknet19 feature generation technique for automated kidney stone detection with coronal CT images. Artif. Intell. Med. 2022; 127:102274.
10. Yaman O, Tuncer T. Bitkilerdeki Yaprak Hastalığı Tespiti için Derin Özellik Çıkarma ve Makine Öğrenmesi Yöntemi. Fırat Üniversitesi Mühendislik Bilim. Derg. 2022; 34(1): 123–132.
11. Fırat H. Sıkma - Uyarma Artık Ağı kullanılarak Beyaz Kan Hücrelerinin Sınıflandırılması Classification of White Blood Cells using the Squeeze- Excitation Residual Network. Bilişim Teknolojileri Dergisi 2023; 16(3):189–205.
12. Li S, Zhang S, Xue J, Sun H. Lightweight target detection for the field flat jujube based on improved YOLOv5. Comput. Electron. Agric. 2022; 202:107391.
13. Qiao Y, Guo Y, He D. Cattle body detection based on YOLOv5-ASFF for precision livestock farming. Comput. Electron. Agric. 2022; 204:107579.
14. Koirala A, Walsh KB, Wang Z, McCarthy C. Deep learning for real-time fruit detection and orchard fruit load estimation: benchmarking of ‘MangoYOLO. Precis. Agric. 2019; 20(6): 1107–1135.
15. Ji W, Pan Y, Xu B, Wang J. A Real-Time Apple Targets Detection Method for Picking Robot Based on ShufflenetV2-YOLOX. Agric. 2022; 12(6): 1–23.
16. Lawal OM. Development of tomato detection model for robotic platform using deep learning. Multimed. Tools Appl. 2021; 80(17): 26751–26772.
17. Montoya-Cavero LE, Torres RDL, Espinosa AG, Cabello JAE. Vision systems for harvesting robots: Produce detection and localization. Comput. Electron. Agric. 2022; 192: 106562.
18. Lawal OM. YOLOMuskmelon: Quest for fruit detection speed and accuracy using deep learning. IEEE Access 2021; 9:15221–15227.
19. Fu X, Li A, Meng Z, Yin X, Zhang C, Zhang W,Qi L. A Dynamic Detection Method for Phenotyping Pods in a Soybean Population Based on an Improved YOLO-v5 Network. Agronomy 2022; 12(12): 3209.
20. Lawal OM. Study on strawberry fruit detection using lightweight algorithm. Multimed. Tools Appl. 2023; . Available: https://doi.org/10.1007/s11042-023-16034-0.
21. Mao DH, Sun H, Li XB, Yu XD, Wu JW, Zhang QC. Real-time fruit detection using deep neural networks on CPU (RTFD): An edge AI application. Comput. Electron. Agric. 2023; 204:107517.
22. Mejia G, Oca AM, Flores G. Strawberry localization in a ridge planting with an autonomous rover. Eng. Appl. Artif. Intell. 2022; 119:105810.
23. Ren G, Wu T, Lin T, Yang L, Chowdhary G, Ting KC, Ying Y. Mobile robotics platform for strawberry sensing and harvesting within precision indoor farming systems. J. F. Robot. 2023; . Available: https://doi.org/10.1002/rob.22207.
24. Elhariri E, El-Bendary N, Saleh SM. Strawberry-DS: Dataset of annotated strawberry fruits images with various developmental stages. Data Br. 2023; 48:109165.
25. Terven J, Cordova-Esparza D. A Comprehensive Review of YOLO: From YOLOv1 to YOLOv8 and Beyond. arxiv.org 2023; 1–33. . Available: http://arxiv.org/abs/2304.00501.
26. Redmon J, Divvala S, Girshick R, Farhadi A. You Only Look Once: Unified, Real-Time Object Detection. In: Proc. IEEE Conf. Comput. Vis. Pattern Recognit; 26 June-1 July 2016; Las Vegas, NV, USA: 779–788.
27. Wang CY, Bochkovskiy A, Liao HYM. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors. arxiv.org 2022; 1–15. . Available: http://arxiv.org/abs/2207.02696.
28. Wang CY, Liao HYM, Yeh IH. Designing Network Design Strategies Through Gradient Path Analysis. arxiv.org 2022; . Available: http://arxiv.org/abs/2211.04800.
29. “GitHub - WongKinYiu/yolov7: Implementation of paper - YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors”. . Available: https://github.com/WongKinYiu/yolov7 (accessed Aug. 13, 2023).
30. Padilla R, Passos WL, Dias TLB, Netto SL, Da Silva EAB. A comparative analysis of object detection metrics with a companion open-source toolkit. Electron. 2021; 10(3): 1–28.