Classification of Hazelnut Varieties Based on Shell Characteristics: An Image Processing and Machine Learning Approach

Abstract

The use of hazelnut varieties in different applications directly affects processing efficiency and product quality, and this is of significant importance in the food and agricultural industries. Currently, however, there are no machines designed specifically to differentiate hazelnut varieties based on their shell characteristics; instead, existing machinery predominantly separates hazelnuts into categories such as full, empty, or broken. The ability to distinguish between hazelnut varieties is essential for optimizing processing workflows and improving the quality of the final product. In this context, the proposed study seeks to classify hazelnuts by analyzing their physical attributes, including color and texture, to determine their suitability for specific applications. After capturing images of hazelnut shells on the conveyor belt, preliminary image processing steps such as cropping, background removal, and measurement standardization were performed. Subsequently, feature extraction was carried out on the processed images. To ensure high classification accuracy, the feature extraction methods were designed to capture variations in size, color, and texture. The techniques employed for feature extraction included Dimension, Color, Haralick, Local Binary Patterns (LBP), and Histogram of Oriented Gradients (HOG). These extracted features were then applied to various classifiers, including K-Nearest Neighbor (k-NN), Decision Tree (DT), Support Vector Machine (SVM), Feedforward Neural Networks (FFNN), Recurrent Neural Networks (RNN), and Cascade Forward Neural Network (CFNN). The classification results revealed that the CFNN classifier outperformed the others. In conclusion, the machine learning-based system developed for classifying hazelnuts by their outer shell is poised to significantly enhance quality in industrial processes while introducing a major innovation by elevating efficiency to a new level.

Keywords

• Agricultural Technology
• Image Processing
• Machine Learning
• Hazelnut Classification.

Fındık Çeşitlerinin Kabuk Özelliklerine Göre Sınıflandırılması: Bir Görüntü İşleme ve Makine Öğrenmesi Yaklaşımı

Öz

Fındık çeşitlerinin farklı uygulamalarda kullanılmasının doğrudan işleme verimliliğini ve ürün kalitesini etkilemekte ve bu durum gıda ve tarım endüstrilerinde önemli bir öneme sahip olmaktadır. Ancak şu anda fındık çeşitlerini kabuk özelliklerine göre ayırt etmek için özel olarak tasarlanmış makineler bulunmamaktadır; bunun yerine mevcut makineler fındıkları ağırlıklı olarak dolu, boş veya kırık gibi kategorilere ayırmaktadır. Fındık çeşitleri arasında ayrım yapabilme yeteneği, işleme iş akışlarını optimize etmek ve nihai ürünün kalitesini artırmak için esastır. Bu bağlamda, önerilen çalışma, belirli uygulamalar için uygunluklarını belirlemek üzere renk ve doku gibi fiziksel özelliklerini analiz ederek fındıkları sınıflandırmayı amaçlamaktadır. Taşıma bandında fındık kabuklarının görüntüleri yakalandıktan sonra, kırpma, arka plan kaldırma ve ölçüm standardizasyonu gibi ön görüntü işleme adımları gerçekleştirildi. Daha sonra, işlenmiş görüntüler üzerinde özellik çıkarma işlemi gerçekleştirildi. Yüksek sınıflandırma doğruluğu sağlamak için, özellik çıkarma yöntemleri boyut, renk ve dokudaki değişiklikleri yakalamak üzere tasarlanmıştır. Özellik çıkarma için kullanılan teknikler arasında Boyut, Renk, Haralick, Yerel İkili Desenler (LBP) ve Yönlendirilmiş Gradyanların Histogramı (HOG) yer almaktadır. Çıkarılan bu özellikler daha sonra K-En Yakın Komşu (k-NN), Karar Ağacı (DT), Destek Vektör Makinesi (SVM), İleri Beslemeli Sinir Ağları (FFNN), Yinelemeli Sinir Ağları (RNN) ve Basamaklı İleri Sinir Ağı (CFNN) dahil olmak üzere çeşitli sınıflandırıcılara uygulanmıştır. Sınıflandırma sonuçları CFNN sınıflandırıcısının diğerlerinden daha iyi performans gösterdiğini ortaya koymuştur. Sonuç olarak, fındıkları dış kabuklarına göre sınıflandırmak için geliştirilen makine öğrenme tabanlı sistem, verimliliği yeni bir seviyeye taşıyarak büyük bir yenilik getirirken endüstriyel süreçlerde kaliteyi önemli ölçüde artırmaya hazırdır.

Anahtar Kelimeler

• Tarım Teknolojisi
• Görüntü İşleme
• Makine Öğrenmesi
• Fındık Sınıflandırması.

Kaynakça

1. [1] T.C. Tarım ve Orman Bakanlığı Fındık Araştırma Enstitüsü Müdürlüğü., Savran E. (2023). Gıda Olarak Fındığın Değeri. [Online]: https://arastirma.tar.gov.tr/findik/Sayfalar/Sayfa=29
2. [2] Özdemir F., Topuz A., Doğan Ü., Karkacıer M.. Fındık Çeşitlerinin Bazı Fiziksel ve Kimyasal Özellikleri. Gıda, 23(1), 37-41, (1998).
3. [3] Acıbadem Hastanesi (2022). Çiğ fındığın sağlığımıza kattığı 10 fayda. [Online]: https://www.acibadem.com.tr/hayat/cig-findigin-sagliginiza-kattigi-10-fayda.
4. [4] Aktaş A., Öztürk E., Hatırlı S. Dünya Fındık Piyasasında Türkiye’nin Rolü. Süleyman Demirel Üniversitesi Vizyoner Dergisi, 1(1), 36-54, (2016).
5. [5] Toprak mahsulleri Ofisi Genel Müdürlüğü. (2021). 2020 Yılı Fındık Sektör Raporu Ankara, 2021. [Online]:https://www.tmo.gov.tr/Upload/Document/sektorraporlari/findik2020.pdf
6. [6] Giresun Ziraat Odası. (2022). Fındığın kullanım alanları. [Online]: https://www.giresunziraatodasi.org.tr/findigin-kullanim-alanlari
7. [7] Pallottino, F., Menesatti, P., Costa, C., Paglia, G., De Salvador, F. R., & Lolletti, D. Image analysis techniques for automated hazelnut peeling determination. Food and Bioprocess Technology, 3, 155-159, (2010). DOI 10.1007/s11947-009-0211-1
8. [8] Bayrakdar, S., B. Çomak, D. Başol, İ. Yücedag D. Determination of type and quality of hazelnut using image processing techniques," 2015 23nd Signal Processing and Communications Applications Conference (SIU), Malatya, Türkiye, (2015).

9. [9] Sayıncı, B., Kara, M., Ercişli, S., Duyar, Ö., Ertürk, Y. Elliptic Fourier analysis for shape distinction of Turkish hazelnut cultivars. Erwerbs-Obstbau, 57(1), 1-11, (2015). DOI 10.1007/s10341-014-0221-7.
10. [10] Guvenc, S. A., Senel F. A., B. Cetisli. Classification of processed hazelnuts with computer vision," 2015 23nd Signal Processing and Communications Applications Conference (SIU), Malatya, Türkiye, (2015).
11. [11] Solak, S., Altınışık, U. Görüntü işleme teknikleri ve kümeleme yöntemleri kullanılarak fındık meyvesinin tespit ve sınıflandırılması. Sakarya University Journal of Science, 22(1), 56-65, (2018). DOI 10.16984/saufenbilder.303850.
12. [12] Ishikawa, T., Hayashi, A., Nagamatsu, S., Kyutoku, Y., Dan, I., Wada, T., Oku, K., Saeki, Y., Uto, T., Tanabata, T., Isobe, S., & Kochi, N. Classification of strawberry fruit shape by machine learning. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences - ISPRS Archives, 42(2), 463–470, (2018).
13. [13] Kıvrak, O., Gürbüz, MDetection of Defective Hazelnuts by Image Processing and Machine Learning. Natural and Engineering Sciences, 4(3), Supplemenet of Symposium Articles, 100-106, (2019).
14. [14] Koklu, M., Kursun, R., Taspinar, Y. S., Cinar, I. Classification of Date Fruits into Genetic Varieties Using Image Analysis. Mathematical Problems in Engineering, 2021. DOI 10.1155/2021/4793293.
15. [15] Terzi, İ., Özgüven, M. M., Yağcı, A. Derin Öğrenme Teknikleri ile Bazı Üzüm Çeşitlerinin Tespiti. Turkish Journal of Agriculture - Food Science and Technology, 11(1), 125–130, (2023). DOI 10.24925/turjaf.v11i1.125-130.5722.
16. [16] Kahya, E., Özdüven, F. F. Robotik Hasat Sistemlerinde Kullanılmak Amacıyla Lahana ve Brokolinin Derin Öğrenme Metodu ile Sınıflandırılması. Turkish Journal of Agriculture- Food Science and Technology, 11(9), 1639–1647, (2023).
17. [17] Harmancı, S., Yavuz, Ünal., Barış, A. Classification of hazelnut species with pre-trained deep learning models. Intelligent Methods In Engineering Sciences, 2(2), 58-66, (2023). DOI 10.58190/imiens.2023.14.
18. [18] T.C. Tarım ve Orman Bakanlığı Fındık Araştırma Enstitüsü Müdürlüğü, (2014). Tombul, [Online]:https://arastirma.tarimorman.gov.tr/findik/Sayfalar/Detay.aspx?SayfaId=17
19. [19] T.C. Tarım ve Orman Bakanlığı Fındık Araştırma Enstitüsü Müdürlüğü, (2014). Sivri, [Online]:https://arastirma.tarimorman.gov.tr/findik/Sayfalar/Detay.aspx?SayfaId=9
20. [20] T.C. Tarım ve Orman Bakanlığı Fındık Araştırma Enstitüsü Müdürlüğü, (2014). Yassı Badem, [Online]:https://arastirma.tarimorman.gov.tr/findik/Sayfalar/Detay.aspx?SayfaId=16
21. [21] Haralick, R. M., Shanmugam, K., Dinstein, I. Textural features for image classification. IEEE Transactions on Systems, Man, and Cybernetics, SMC-3(6), 610-621, (1973). DOI 10.1109/TSMC.1973.4309314.
22. [22] Ojala T., M. Pietikäinen, and D. Harwood. Performance evaluation of texture measures with classification based on Kullback discrimination of distributions", Proceedings of the 12th IAPR International Conference on Pattern Recognition (ICPR 1994), vol. 1, pp. 582- 585, (1994). DOI 10.1109/ICPR.1994.576366.
23. [23] Dalal, N., Triggs, B. Histograms of Oriented Gradients for Human Detection. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 1, 886-893, (2005). DOI 10.1109/CVPR.2005.177.
24. [24] Gibert, D., Mateu, C., Planes, J. The rise of machine learning for detection and classification of malware: Research developments, trends and challenges. Journal of Network and Computer Applications, 153, (2020). DOI 10.1016/j.jnca.2019.102526.
25. [25] Cover, T., & Hart, P. Nearest neighbor pattern classification. IEEE transactions on information theory, 13(1), 21-27, (1967). DOI 10.1109/TIT.1967.1053964
26. [26] Gou, J., Qiu, W., Yi, Z., Shen, X., Zhan, Y., & Ou, W. Locality constrained representation-based K-nearest neighbor classification. Know.-Bas. Systems, 167, 38-52, (2019). DOI 10.1016/j.knosys.2019.01.016.
27. [27] Hastie T., Friedman J. , Tibshirani R. The Elements of Statistical Learning, New York, 2009.
28. [28] Song Y. Y., Ying L. U. Design tree methods: application for classification and prediction. Shangai Arcivhes of psychiatry. (27)2, 130, (2015). DOI 10.11919/j.issn.1002-0829.215044.
29. [29] Santos I., Brezo F., Ugarte-Pedro X., Bringas P. G. Opcode sequences as representation of executables for data-mining-based unknown malware detection. Information Sciences (231), 64-82, (2013). DOI 10.1016/j.ins.2011.08.020.
30. [30] Vapnik, V., & Cortes, C. Support-Vector Networks. Machine Learning, 20(3), 273-297, (1995).
31. [31] Haykin, S. Neural Networks: A Comprehensive Foundation. Prentice Hall, (1998).
32. [32] Bishop, C. M. Pattern Recognition and Machine Learning. Springer, (2006).
33. [33]Girshick, R. Rich feature hierarchies for accurate object detection and semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition, 580-587, (2014).
34. [34] Beale, M. H., Hagan, M. T., Demuth, H. B. Neural network toolbox user’s guide. The MathWorks, 77-81, (2010).
35. [35] Chayjan, R. A. Modeling of sesame seed dehydration energy requirements by a soft-computing approach. Australian journal of crop science, 4(3), 180-184, (2010).
36. [36] He, H., Garcia, E. A. Learning from imbalanced data. IEEE Transactions on knowledge and data engineering, 21(9), 1263-1284, (2009). DOI 10.1109/TKDE.2008.239.