A New Method Based on Extracting, Combining and Selecting Deep Features from Natural and Synthetic Data for Classification of Grapevine Leaf Species

Abstract

In recent years, the production and consumption of grapevine leaves containing rich minerals, dietary fiber and vitamins has been intensively realized in Turkey. However, the demand for stuffed food made from grapevine leaves in the convenience food sector increases the export opportunities to different countries In commercial agricultural activities such as this, it is important to determine quality standards for sustainable marketing. Researchers have made positive progress with deep learning in smart farming applications. In this study, we propose a new method for recognizing the type of grapevine leaves to be used for consumption. In the proposed method, a dataset containing 500 images of 5 different grapevine leaf species, namely Ak, Ala Idris, Büzgülü, Dimnit and Nazli, was used. From these images, 3500 images were obtained with data augmentation techniques. In addition, a dataset consisting of more detailed textures was obtained by applying the ESRGAN model to the obtained images. VGG 19 deep learning model was used to extract features from these images. The features obtained from the two separate data sets were combined. In this way, a hybrid feature extraction model was created. The best 175 feature subsets were selected using the PCA algorithm. Finally, 96.14% accuracy was calculated using a Support Vector Machine (SVM) for classification of the obtained features.

Keywords

• Grapevine leaf
• feature extraction
• feature selection
• PCA
• SVM
• ESRGAN

Asma Yaprağı Türünün Sınıflandırılması için Doğal ve Sentetik Verilerden Derin Öznitelikler Çıkarma, Birleştirme ve Seçmeye Dayalı Yeni Bir Yöntem

Abstract

Son yıllarda Türkiye’de zengin mineral, diyet lif ve vitamin içeren asma yapraklarının üretimi ve tüketimi yoğun olarak gerçekleşmektedir. Bununla birlikte hazır gıda sektöründe asma yapraklarından yapılan dolma yemeğine talep, farklı ülkelere ihracat olanaklarını da arttırmaktadır. Bunun gibi ticari tarım faaliyetlerinde sürdürülebilir bir pazarlama için kalite standartlarının oluşturulması önemlidir. Araştırmacılar, akıllı tarım uygulamalarında derin öğrenme ile birlikte olumlu ilerlemeler kaydetmiştir. Bu çalışmada, tüketim için kullanılacak asma yapraklarının türünün tanınması için yeni bir yöntem önerilmektedir. Önerilen yöntemde Ak, Ala Idris, Büzgülü, Dimnit ve Nazli olmak üzere 5 farklı asma yaprak türünden 500 görüntü içeren bir veri seti kullanılmıştır. Bu görüntülerden veri arttırma teknikleri ile 3500 adet görüntü elde edilmiştir. Ayrıca elde edilen görüntülere ESRGAN modeli uygulanarak daha ayrıntılı dokulardan oluşan bir veri kümesi elde edilmiştir. Bu görüntülerden öznitelik çıkarımı yapmak için VGG 19 derin öğrenme modeli kullanılmıştır. Oluşturulan iki ayrı veri setinden elde edilen öznitelikler birleştirilmiştir. Bu şekilde hibrit bir öznitelik çıkarıcı model oluşturulmuştur. PCA algoritması kullanılarak en iyi 175 adet öznitelik alt kümesi seçilmiştir. Son olarak elde edilen özniteliklerin sınıflandırılması için Destek Vektör Makinesi (DVM) kullanılarak %96,14 oranında doğruluk hesaplanmıştır.

Keywords

• Asma yaprağı
• öznitelik çıkarma
• öznitelik seçme
• PCA
• DVM
• ESRGAN

References

1. Albumentations, (2022). https://albumentations.ai/.
2. Beikmohammadi A., Faez K. ve Motallebi A. (2022). SWP-LeafNET: A novel multistage approach for plant leaf identification based on deep CNN. Expert Systems with Applications, 202, 117470.
3. Cangi R. ve Yağcı A. (2017). Bağdan sofraya yemeklik asma yaprak üretimi. Nevşehir Bilim ve Teknolojisi Dergisi, (6), 137-148.
4. Carvalho T.,De Rezende E., R. Alves M. T., Balieiro F. K. ve Sovat R. B. (2017). Exposing computer generated images by eye’s region classification via transfer learning of VGG19 CNN. In 2017 16th IEEE International Conference on Machine Learning and Applications (ICMLA), 866-870.
5. Doğan G. ve Ergen B. (2021). İMobileNet CNN yaklaşımları ve özellik seçme yöntemleri kullanarak araç türlerini sınıflandırma. Süleyman Demirel Üniversitesi Fen Bilim. Enstitüsü Dergisi, 25(3), 618–628.
6. Doğan G. ve Ergen B. (2022). A new mobile convolutional neural network-based approach for pixel-wise road surface crack detection. Measurement, (195), 111119.
7. Ganguly S., Bhowal P., Oliva D. ve Sarkar R. (2022). BLeafNet: A Bonferroni mean operator based fusion of CNN models for plant identification using leaf image classification. Ecological Informatics, (69), 101585.
8. Hu J., Chen Z., Yang M., Zhang R. ve Cui Y. (2018). A multiscale fusion convolutional neural network for plant leaf recognition. IEEE Signal Processing Letters, 25(6), 853-857.

9. Imak A., Celebi A., Siddique K., Turkoglu M., Sengur A. ve Salam I. (2022). Dental Caries Detection Using Score-Based Multi-Input Deep Convolutional Neural Network. IEEE Access, (10), 18320-18329.
10. Koklu M., Unlersen M. F., Ozkan I. A., Aslan M. F. ve Sabanci K. (2022). A CNN-SVM study based on selected deep features for grapevine leaves classification. Measurement, (188), 110425.
11. Ledig C., Theis L., Huszár F., Caballero J., Cunningham A., Acosta A., ... ve Shi W. (2017). Photo-realistic single image super-resolution using a generative adversarial network. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 4681-4690.
12. Lee S. H., Chan C. S., Wilkin P. ve Remagnino P. (2015). Deep-plant: Plant identification with convolutional neural networks. In 2015 IEEE International Conference on Image Processing (ICIP), 452–456.
13. Loddo A., Loddo M. ve Di Ruberto C. (2021). A novel deep learning based approach for seed image classification and retrieval. Computers and Electronics in Agriculture, (187), 106269.
14. Nkengfack L. C. D., Tchiotsop D., Atangana R., Tchinda B. S., Louis-Door V. ve Wolf D. (2021). A comparison study of polynomial-based PCA, KPCA, LDA and GDA feature extraction methods for epileptic and eye states EEG signals detection using kernel machines. Informatics in Medicine Unlocked, (26), 100721.
15. Pearson K. (1901). LIII. On lines and planes of closest fit to systems of points in space. The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, 2(11), 559-572.
16. Simonyan K. ve Zisserman A. (2015). Very deep convolutional networks for large-scale image recognition. 3rd Int. Conf. Learn. Represent. ICLR 2015,1–14.
17. Sun Y., Liu Y., Wang G. ve Zhang H. (2017). Deep learning for plant identification in natural environment. Computational Intelligence and Neuroscience, 2017.
18. Turkoglu M., Aslan M., Arı A., Alçin Z. M. ve Hanbay D. (2021). A multi-division convolutional neural network-based plant identification system. PeerJ Computer Science, 7.
19. Wang X., Yu K., Wu S., Gu J., Liu Y., Dong C., ... ve Change Loy C. (2018). Esrgan: Enhanced super-resolution generative adversarial networks. In Proceedings of the European conference on computer vision (ECCV) workshops.