Design of an automatic image dataset generator for deep learning and its application to walnut species

Abstract

Traditional walnut grading methods have limitations such as dependence on expert knowledge, time-consuming processes and subjective evaluations. This situation increases the need for automatic and precise classification systems in agriculture and food industry. In order to fulfil this need, in this study, a unique and high resolution image dataset was created for the classification of five different walnut varieties (Bilecik, Chandler, Fernette, Yavuz and Niksar) widely grown in Turkey. For this purpose, an automatic data acquisition system that allows 360-degree imaging of walnuts was designed and developed. It was realised with the integration of an ESP32 microcontroller, stepper motor and a high-resolution smartphone camera. Each walnut was imaged from 144 different angles in 5-degree steps on the horizontal and vertical axes. The images were preprocessed with contour cropping and background removal. The resulting dataset was organised into training, validation and test sets. This study provides a strong foundation for future research on walnut classification.

Keywords

• walnut classification
• walnut dataset
• automatic data acquisition
• 360 degree imaging
• ESP32 microcontroller

Derin öğrenme için otomatik görüntü veri seti oluşturma düzeneği tasarımı ve ceviz cinslerine uygulanması

Öz

Geleneksel ceviz sınıflandırma yöntemleri, uzman bilgisine bağımlılık, zaman alıcı süreçler ve subjektif değerlendirmeler gibi sınırlamalar içermektedir. Bu durum, tarım ve gıda endüstrisinde otomatik ve hassas sınıflandırma sistemlerine duyulan ihtiyacı artırmaktadır. Bu ihtiyacı gidermek amacıyla bu çalışmada, Türkiye’de yaygın olarak yetiştirilen beş farklı ceviz cinsinin (Bilecik, Chandler, Fernette, Yavuz ve Niksar) sınıflandırılması için özgün ve yüksek çözünürlüklü bir görüntü veri seti oluşturulmuştur. Bu amaç doğrultusunda, cevizlerin 360 derece görüntülenmesini sağlayan otomatik bir veri toplama sistemi tasarlanmış ve geliştirilmiştir. ESP32 mikrodenetleyici, step motor ve yüksek çözünürlüklü bir akıllı telefon kamerasının entegrasyonuyla gerçekleştirilmiştir. Her ceviz, yatay ve dikey eksenlerde 5 derecelik adımlarla 144 farklı açıdan görüntülenmiştir. Görüntüler, kontur kırpma ve arka plan temizleme ile ön işleme tabi tutulmuştur. Elde edilen veri seti eğitim, doğrulama ve test kümelerine ayrılarak düzenli şekilde organize edilmiştir. Bu çalışma, ceviz sınıflandırmasına yönelik gelecek araştırmalar için güçlü bir altyapı sunmaktadır.

Anahtar Kelimeler

• ceviz sınıflandırması
• ceviz veri seti
• otomatik veri toplama
• 360 derece görüntüleme
• ESP32 mikrodenetleyici

Kaynakça

1. M. Şimşek ve E. Gülsoy, Ceviz ve içerdiği yağ asitlerinin insan sağlığı açısından önemi üzerine yapılan bazı çalışmalar. Journal of the Institute of Science & Technology/Fen Bilimleri Enstitüsü Dergisi, 6(4), 2016.
2. A. Şimşek ve B. Temel, Gastronomi turizmi kapsamında geleneksel ürünlerin incelenmesi: Tarsus Mamülü. Mersin Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 5(2), 6-13, 2022. https://doi.org/10.55044/meusbd.1000865.
3. M. Kilci, Tokat ili Niksar ilçesi ceviz üretim ve pazarlama yapısı (Yüksek lisans tezi, Fen Bilimleri Enstitüsü), 2016.
4. A. Y. Yiğit ve M. Uysal, Nesne tabanlı sınıflandırma yaklaşımı kullanılarak yolların tespiti. Türkiye Fotogrametri Dergisi, 1(1), 17-24, 2019.
5. H. Şahin, Dijital tarım, Tarım 4.0, akılı tarım, robotik uygulamalar ve otonom sistemler. Tarım Makinaları Bilimi Dergisi, 18(2), 68-83, 2022.
6. D. Unay and B. Gosselin, Stem and calyx recognition on ‘Jonagold’apples by pattern recognition. Journal of food Engineering, 78(2), 597-605, 2007. https://doi.org/10.1016/j.jfoodeng.2005.10.038.
7. A. Taner, M. T. Mengstu, K. Ç. Selvi, H. Duran, İ. Gür and N. Ungureanu, Apple varieties classification using deep features and machine learning. Agriculture, 14(2), 252, 2024. https://doi.org/10.3390/agriculture14020252.
8. M. T. Vo, T. D. Nguyen and N. T. Dang, Embedded machine learning for mango classification using image processing and support vector machine. In 2019 6th NAFOSTED Conference on Information and Computer Science (NICS) (ss. 279-284). IEEE, 2019. https://doi.org/10.1109/NICS48868.2019.9023803.

9. P. S. Kumar, S. Sudha, P. Das, D. Pradeep and K. Vijaipriya, Pomegranate quality analysis and classification using feature extraction and machine learning. In 2022 6th International Conference on Electronics, Communication and Aerospace Technology (ss. 862-867). IEEE, 2019. https://doi.org/10.1109/ICECA55336.2022.10009628.
10. K. Kayaalp ve A. Altınalan, Ceviz sürgün görüntüleri kullanılarak ceviz çeşitlerinin sınıflandırılması. Uluborlu Mesleki Bilimler Dergisi, 6(2), 42-52, 2024.
11. Ş. E. Eze ve S. K. Berkaya, Görüntü ön işleme teknikleri ve derin öğrenme ile bitki zararlılarının sınıflandırılması. Mühendislik Bilimleri ve Tasarım Dergisi, 12(2), 455-465, 2024. https://doi.org/10.21923/jesd.1490176.
12. M. Erkol, E. Altuntaş ve H. Tokbaş, Bilecik ve Yalova-3 ceviz çeşitlerinin bazı fiziksel özelliklerine nem içeriğinin etkisi. Tarım Bilimleri Araştırma Dergisi, (2), 37-43, 2008.
13. M. B. Olut, Chandler x Kaplan-86 F1 ceviz populasyonunun meyvelerinde yağ asidi ve tokoferol içeriklerinin karakterizasyonu (Yüksek lisans tezi, Fen Bilimleri Enstitüsü), 2018.
14. F. Şen, S. Bilgin, E. Özeker ve N. A. Bilgin, Bazı ceviz çeşitlerinin Menemen ekolojisinde morfolojik ve pomolojik özelliklerinin belirlenmesi. ÇOMÜ Ziraat Fakültesi Dergisi, 6(1), 31-39, 2018.
15. S. Bayazıt, O. Calıskan and D. Kılıç, Pomological and chemical properties of some walnut genotypes in central Anatolia. Journal of Agricultural Faculty of Gaziosmanpaşa University (JAFAG), 36(3), 243-249, 2019. https://doi.org/10.13002/jafag4583.
16. T. Çukur, N. Kızılaslan, F. Çukur ve H. Kızılaslan, Tüketicilerin coğrafi işaretli ürünler için ödeme istekliliğine etki eden faktörler: Niksar ceviz örneği. Turkish Journal of Agriculture-Food Science and Technology, 8(11), 2476-2481, 2020. https://doi.org/10.24925/turjaf.v8i11.2476-2481.3898.
17. F. Başçiftçi ve K. A. Gündüz, Nesnelerin interneti uyumlu mikrodenetleyiciler üzerine bir araştırma. Selçuk Üniversitesi Sosyal ve Teknik Araştırmalar Dergisi, (18), 66-76, 2019.
18. E. Güler, Fındık zarı uygunluğunun OpenCV ile belirlenmesi için yazılım ve donanım geliştirilmesi (Doktora tezi, Selçuk Üniversitesi), 2018.
19. Xiaomi. (n.d.). Xiaomi 13 Pro teknik özellikler. Xiaomi Türkiye. https://www.mi.com/tr/product/xiaomi-13-pro/specs/
20. F. J. Dian, A. Yousefi, and S. Lim. A practical study on Bluetooth Low Energy (BLE) throughput. In 2018 IEEE 9th Annual Information Technology, Electronics and Mobile Communication Conference (IEMCON) (ss. 768-771). IEEE, 2018. https://doi.org/10.1109/IEMCON.2018.8614763.
21. EazSoftware, A comprehensive guide to ADB (Android Debug Bridge): The unsung hero for Android developers. Medium, 2024. https://medium.com/@EazSoftware/a-comprehensive-guide-to-adb-android-debug-bridge-the-unsung-hero-for-android-developers-28b349037436
22. Android Developers. (t.y.). Android Debug Bridge (adb). https://developer.android.com/tools/adb?hl=tr
23. S. Balovsyak ve Y. Hnatiuk, Analysis of results of scaling digital images by interpolation algorithms. Security of Infocommunication Systems and Internet of Things, 2(1), 01007-01007, 2024. https://doi.org/10.31861/sisiot2024.1.01007.
24. Q. Wang, Y. Bi, B. Xue, and M. Zhang, Genetic programming with flexible region detection for fine-grained image classification. IEEE Transactions on Evolutionary Computation, 2024. https://doi.org/10.1109/TEVC.2024.3379257.
25. J. Sadaiyandi, P. Arumugam, A. K. Sangaiah and C. Zhang, Stratified sampling-based deep learning approach to increase prediction accuracy of unbalanced dataset. Electronics, 12(21), 4423, 2023. https://doi.org/10.3390/electronics12214423.
26. B. Han, J. Zhang, R. Almodfer, Y. Wang, W. Sun, T. Bai and W. Hou, Research on innovative apple grading technology driven by intelligent vision and machine learning. Foods, 14(2), 258, 2025. https://doi.org/10.3390/foods14020258.
27. X. Lei, H. Ouyang and L. Xu, Mature pomegranate recognition methods in natural environments using machine vision. Ciencia Rural, 49, e20190298, 2019. https://doi.org/10.1590/0103-8478cr20190298.
28. Y. Akça ve S. Yılmaz, Tüplerde yetiştirilen farklı ceviz (Juglans regia) çeşitlerine ait çöğürlerin bazı morfolojik özelliklerinin ve kalitelerinin belirlenmesi. Journal of Agricultural Faculty of Gaziosmanpaşa University (JAFAG), 33(3), 157-166, 2016. https://doi.org/10.13002/jafag950.
29. H. Ünver, E. Sakar ve M. Sülüşoğlu Durul, Düzce ilinde doğal olarak bulunan ceviz genotipleri arasındaki morfolojik farklılıkların değerlendirilmesi. Turkish Journal of Agricultural and Natural Science, 10(4), 2023. http://doi.org/10.30910/turkjans.1307868.