Otomatik Mango Çeşitlerinin Sınıflandırması İçin Transfer Öğrenme ve İnce Ayarlama Yaklaşımının Etkinliğinin Değerlendirilmesi

Year 2022, Issue: 34, 344 - 353, 31.03.2022

Nagham Alhawas , Zekeriya Tüfekci

https://doi.org/10.31590/ejosat.1082217

Abstract

Mango üreten sektörler için, farklı mango türlerini sınıflandırmak için doğru bir görüş sistemi esastır. İşlem çoğunlukla insan gücü emeği kullanılarak yapılır ve maliyet etkin değildir. Ancak, bu alandaki gerçek başarı hala sınırlı ve bu konuda önemli bir çalışma eksikliği var. Bu makale, mango türlerinin tanımlanmasında transfer öğrenimi ve ince ayarın uygulanmasının etkinliğini sunar. Çalışma amacını yerine getirmek için sekiz Pakistan mango çeşidinden oluşan bir görüntü veri seti kullanılmıştır. Deneylere dayalı olarak farklı görüntü ön işleme ve veri büyütme teknikleri uygulanmaktadır. MobileNet ve ResNet50 üzerinde iki ana deney gerçekleştirildi. MobileNet için, performans davranışı, yalnızca modul mimarisini rastgele ağırlıklarla yükleme, ardından transfer öğrenme kullanımı ve son olarak ince ayar işbirliğiyle karşılaştırıldı. Modelin performansını iyileştirmek için farklı hiperparametre ayarlaması çalışıldı. ResNet50 için, makine öğrenimi modellerine sahip hibrit bir ResNet50 oluşturuldu. Transfer öğrenmeli ResNet50 öznitelik çıkarıcı olarak kullanıldı ve 2084 adet öznitelik elde edildi. Temel bileşen analizi PCA, özelliklerin boyutunu azaltmak için uygulanır. Elde edilen187 öznitelik ölçeklendi, daha sonra Naïve Bayes'e, Lojistik Regresyon vw farklı çekirdeklere sahip SVM'e girdi olarak verilip 10 tabakalı tekrarlanan kfold ile test edildi. Modellerin davranışlarına yardımcı olmak için farklı performans değerlendirme metrikleri kullanıldı. Mango çeşitlerinin tanımlanması için performans ve uygulama süresi açısından transfer öğrenimi ve ince ayarın en iyi uygulama olduğunu gösterdik. En iyi test doğruluğu, geri çağırma, F1 ve kesinlik oranı %100'dür..

Keywords

bilgisayarla görme, Resnet50, MobileNet, hibrit, Transfer öğrenme, ince ayar, CNN-ML modeller

The Effectiveness of Transfer Learning and Fine-Tuning Approach for Automated Mango Variety Classification

Abstract

For the mango-producing sectors, an accurate vision system for classifying distinct mango types is essential. The process is mostly done using manpower labor and it is cost-inefficient. However, actual success in this field is still narrow, and there is a significant shortage of studies on this issue. This paper presents the effectiveness of applying transfer learning and fine-tuning on the identification of mango types. An imagery dataset of eight Pakistani mango varieties is used to fulfill the study purpose. Based on the experiments different image preprocessing and data augmentation techniques are applied. Two main experiments are conducted on MobileNet and ResNet50. For MobileNet, the performance behavior was compared between loading only the modal’s architecture with random weights, then with the use of transfer learning, and finally by cooperating fine-tuning. Different hyperparameter tuning was studied to improve the model’s performance. For the ResNet50, a hybrid ResNet50 with machine learning models is built. The ResNet50 with transfer learning is used as a feature extractor and number of 2084 features have resulted. Principal component analysis PCA is applied to reduce the dimensionality of features. The 187 resulted feature is scaled, then fed to Naïve Bayes, Logistic Regression, SVM with different kernels all are tested with 10 stratified repeated kfold. Different performance evaluation metrics were used to assist the models’ behaviors. We showed that transfer learning and fine-tuning is the best practice in terms of performance and execution time for the mango varieties identification. The best testing accuracy, recall, F1, and precision is 100%.

Keywords

computer vision, Resnet50, MobileNet, Transfer learning, fine-tune, hybrid CNN-ML models

References

• Abbas, Q., Iqbal, M., Niazi, S., Noureen, M., Muddasir Iqbal, M., Saeed Ahmad, M., & Nisa, M. (2018). Mango Classification Using Texture & Shape Features. In IJCSNS International Journal of Computer Science and Network Security (Vol. 18, Issue 8). http://www.eletel.p.lodz.pl/programy/mazda/index.php?action=mazda
• Behera, S. K., Sangita, S., Rath, A. K., & Sethy, P. K. (2019). Automatic Classification of Mango Using Statistical Feature and SVM. In Lecture Notes in Networks and Systems (Vol. 41, pp. 469–475). Springer. https://doi.org/10.1007/978-981-13-3122-0_47
• Benjamin Planche, & Eliot Andres. (2019). Hands-On Computer Vision with TensorFlow 2 (1 st). Packt Publishing
• Hakim, A. R. I. H. M. (2021, July 6). Mango Variety and Grading Dataset. Https://Data.Mendeley.Com/Datasets/5mc3s86982/1.
• He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770–778. https://doi.org/10.1109/CVPR.2016.90
• Howard, A. G., Zhu, M., Chen, B., Kalenichenko, D., Wang, W., Weyand, T., Andreetto, M., & Adam, H. (2017). MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. http://arxiv.org/abs/1704.04861
• Naik, S., & Shah, H. (n.d.). Classification of Mango (Mangifera Indica L.) fruit varieties using Convolutional Neural Network.
• Pandey, C., Sethy, P. K., Behera, S. K., Rajpoot, S. C., Pandey, B., Biswas, P., & Panigrahi, M. (2021). Evaluation of Transfer Learning Model for Mango Recognition. Smart Innovation, Systems and Technologies, 213 SIST, 467–474. https://doi.org/10.1007/978-981-33-4443-3_45
• Rizwan Iqbal, H. M., & Hakim, A. (2022). Classification and Grading of Harvested Mangoes Using Convolutional Neural Network. International Journal of Fruit Science, 22(1), 95–109. https://doi.org/10.1080/15538362.2021.2023069
• Sharma, J., Granmo, O.-C., & Olsen, M. G. (2018). Deep CNN-ELM Hybrid Models for Fire Detection in Images. ICANN.
• Shlens, J. (n.d.). A Tutorial on Principal Component Analysis.
• Sik-Ho Tsang. (2018, September 15). Review: ResNet — Winner of ILSVRC 2015 (Image Classification, Localization, Detection). Https://Towardsdatascience.Com/Review-Resnet-Winner-of-Ilsvrc-2015-Image-Classification-Localization-Detection-E39402bfa5d8.
• TensorFlow. (2021). tf.keras.applications.resnet50.preprocess_input. https://www.tensorflow.org/api_docs/python/tf/keras/applications/resnet50/preprocess_input
• Turgut, Z. (n.d.). A THEORETICAL COMPARISON OF RESNET AND DENSENET ARCHITECTURES ON THE SUBJECT OF SHORELINE EXTRACTION.
• Win, O., & Misigo, R. (2019). Classification of Mango Fruit Varieties using Naive Bayes Algorithm. Published in International Journal of Trend in Scientific Research and Development (Ijtsrd), 5, 1475–1478. https://doi.org/10.31142/ijtsrd26677
• Wu, R., Yan, S., Shan, Y., Dang, Q., & Sun, G. (2015). Deep Image: Scaling up Image Recognition. http://arxiv.org/abs/1501.02876
• Yossy, E. H., Pranata, J., Wijaya, T., Hermawan, H., & Budiharto, W. (2017). Mango Fruit Sortation System using Neural Network and Computer Vision. Procedia Computer Science, 116, 596–603. https://doi.org/10.1016/j.procs.2017.10.013
• You, Y., Zhang, Z., Hsieh, C.-J., Demmel, J., & Keutzer, K. (2017). ImageNet Training in Minutes. http://arxiv.org/abs/1709.05011
• Zhuang, F., Qi, Z., Duan, K., Xi, D., Zhu, Y., Zhu, H., Xiong, H., & He, Q. (2019). A Comprehensive Survey on Transfer Learning. http://arxiv.org/abs/1911.02685