Classification of Flower Species by Using Feature Selection Methods in Convolutional Neural Network Models

Öz

The fact that image processing methods and techniques give better results every day is important for the sensitivity of ecological balance. This article deals with the classification of plant species, which is the main element of the ecological balance. Recently, the use of deep learning methods on plant species has increased. Another aim of our study is to create a reference for comparing the image data used in this field to other studies which will use the same data set. In this study, five-class plant images that are accessible for the classification of plant species were utilized. The data set consists of 4242 images. In the data set, the convolutional neural network (CNN) from deep learning models was used for feature extraction. The features obtained from plant species were classified by support vector machines (SVM) and the results obtained were compared. As a result of the comparison, the best classification performance was provided by VGG-16 architecture. The obtained classification accuracy rate is 86.56%. In the next phase, the number of properties of the last layer of CNN architectures was reduced by using the Maximal Information Coefficient (MIC), Ridge Regression and Recursive Feature Elimination  (RFE). The most efficient features derived from feature selection methods were re-classified with SVM. The classification success rate increased by 5.24% and became 91.10%. In this study, it was observed that the use of feature selection methods together with CNN architectures were effective in the classification of flower species.

Anahtar Kelimeler

• CNN,deep learning,image processing,feature selection,flower types

Evrişimsel Sinir Ağı Modellerinde Özellik Seçim Yöntemlerini Kullanarak Çiçek Görüntülerinin Sınıflandırılması

Öz

Görüntü işleme yöntem ve tekniklerinin gün geçtikçe daha iyi sonuç vermesi, ekolojik dengenin duyarlılığı açısından önem arz etmektedir. Bu makale ekolojik dengenin temel unsuru olan çiçek görüntülerinin sınıflandırılmasını ele almaktadır. Son zamanlarda çiçek görüntüleri üzerinde derin öğrenme yöntemlerinin kullanımı artmıştır. Bu çalışmada, çiçek görüntülerinin sınıflandırılması için internette erişime açık olan veri seti kullanılmıştır. Veri seti 4326 görüntüden oluşmaktadır. Elde edilen veri kümesinde özellik çıkarımı için derin öğrenme modellerinden evrişimsel sini ağı (ESA) kullanılmıştır. ESA mimarilerinden AlexNet, VGG-16 ve VGG-19 modelleri kullanılmıştır. Üç modelinde ortak özelliği 1000 özellik veren tam bağlantılı katmana sahip olmalarıdır. Çiçek görüntülerinden elde edilen özellikler destek vektör makineleri (DVM) ile sınıflandırılmış ve elde edilen sonuçlar karşılaştırılmıştır. Karşılaştırma sonucunda en iyi sınıflandırma performansını VGG-16 mimarisi ile sağlanmıştır. Elde edilen sınıflandırma doğruluk oranı %86,56’dır. Sonraki aşamada ESA mimarilerinin son tam bağlantılı katmanından elde edilen 1000 özellik birleştirilerek 3000 özellik seti oluşturuldu. Ardından, özellik seçim yöntemlerinden; Maksimum Bilgi Katsayısı (MBK), Ridge regresyonu ve Özyinelemeli Özellik Eleme (ÖÖE) yöntemleri kullanılarak özellik sayısı 300’e düşürülmüştür. Özellik seçim yöntemleri ile çıkartılan en verimli özellikler DVM yöntemi ile yeniden sınıflandırılmıştır. Sınıflandırma başarı oranı yaklaşık %4,54 artarak %91,10 olmuştur. Bu çalışma ile çiçek görüntülerinin sınıflandırılmasında ESA mimarileri ile birlikte özellik seçim yöntemlerinin kullanımının etkili olduğu gözlemlenmiştir.

Anahtar Kelimeler

• ESA,derin öğrenme,görüntü işleme,özellik seçimi,çiçek türleri

Kaynakça

1. A.B. Roddy, G.-F. Jiang, K. Cao, K.A. Simonin, C.R. Brodersen, Hydraulic traits are more diverse in flowers than in leaves, New Phytol. 0 (2019). doi:10.1111/nph.15749.
2. S. Madoui, N. Charef, L. Arrar, A. Baghianni, S. Khennouf, In vitro Antioxidant Activities of Various Extracts from Flowers-Leaves Mixture of Algerian Cytisus triflorus, Annu. Res. Rev. Biol. 26 (2018) 1–13. doi:10.9734/arrb/2018/41297.
3. C. MJM, J. W. BYNG, The Number of known Plants Species in the Word and its Annual Increase, Phytotaxa. 261 (2016) 201–217.
4. S. SOLAK, U. ALTINIŞIK, Görüntü İşleme Teknikleri ve Kümeleme Yöntemleri Kullanılarak Fındık Meyvesinin Tespit ve Sınıflandırılması, SAÜ Fen Bilim. Enstitüsü Derg. (2018) 1–1. doi:10.16984/saufenbilder.303850.
5. Z. Cömert, A.F. Kocamaz, Fetal Hypoxia Detection Based on Deep Convolutional Neural Network with Transfer Learning Approach BT - Software Engineering and Algorithms in Intelligent Systems, in: R. Silhavy (Ed.), Springer International Publishing, Cham, 2019: pp. 239–248.
6. M. Reichstein, G. Camps-Valls, B. Stevens, M. Jung, J. Denzler, N. Carvalhais, Prabhat, Deep learning and process understanding for data-driven Earth system science, Nature. 566 (2019) 195–204. doi:10.1038/s41586-019-0912-1.
7. F. Özyurt, E. Avcı, M. Koç, A. Doğantekin, A novel approach for liver image classification: PH-C-ELM, Meas. J. Int. Meas. Confed. 137 (2019) 332–338. doi:10.1016/j.measurement.2019.01.060.
8. H. Hiary, H. Saadeh, M. Saadeh, M. Yaqub, Flower classification using deep convolutional neural networks, IET Comput. Vis. 12 (2018) 855–862. doi:10.1049/iet-cvi.2017.0155.

9. H. Hiary, H. Saadeh, M. Saadeh, M. Yaqub, Flower classification using deep convolutional neural networks, IET Comput. Vis. 12 (2018) 855–862. doi:10.1049/iet-cvi.2017.0155.
10. M. Cıbuk, U. Budak, Y. Guo, M.C. Ince, A. Sengur, Efficient deep features selections and classification for flower species recognition, Measurement. 137 (2019) 7–13. doi:https://doi.org/10.1016/j.measurement.2019.01.041.
11. P.A. Dias, A. Tabb, H. Medeiros, Apple flower detection using deep convolutional networks, Comput. Ind. 99 (2018) 17–28. doi:https://doi.org/10.1016/j.compind.2018.03.010.
12. M. Mehdipour Ghazi, B. Yanikoglu, E. Aptoula, Plant identification using deep neural networks via optimization of transfer learning parameters, Neurocomputing. 235 (2017) 228–235. doi:https://doi.org/10.1016/j.neucom.2017.01.018.
13. M. Seeland, M. Rzanny, N. Alaqraa, J. Wäldchen, P. Mäder, Plant species classification using flower images—A comparative study of local feature representations, PLoS One. 12 (2017) e0170629. https://doi.org/10.1371/journal.pone.0170629.
14. D.S. Guru, Y.H. Sharath Kumar, S. Manjunath, Textural features in flower classification, Math. Comput. Model. 54 (2011) 1030–1036. doi:https://doi.org/10.1016/j.mcm.2010.11.032.
15. Y. Chai, E. Rahtu, V. Lempitsky, L. Van Gool, A. Zisserman, TriCoS: A Tri-level Class-Discriminative Co-segmentation Method for Image Classification BT - Computer Vision – ECCV 2012, in: A. Fitzgibbon, S. Lazebnik, P. Perona, Y. Sato, C. Schmid (Eds.), Springer Berlin Heidelberg, Berlin, Heidelberg, 2012: pp. 794–807.
16. Q. Chen, Z. Song, Y. Hua, Z. Huang, S. Yan, Hierarchical matching with side information for image classification, in: 2012 IEEE Conf. Comput. Vis. Pattern Recognit., 2012: pp. 3426–3433. doi:10.1109/CVPR.2012.6248083.
17. Alexander Mamaev, Flowers Recognition | Kaggle, (n.d.). https://www.kaggle.com/alxmamaev/flowers-recognition (accessed June 2, 2019).
18. J. Koushik, Understanding Convolutional Neural Networks, (2016). doi:10.1016/j.jvcir.2016.11.003.
19. K. O’Shea, R. Nash, An Introduction to Convolutional Neural Networks, (2015). doi:10.1007/978-3-642-28661-2-5.
20. K. Simonyan, A. Zisserman, Very deep convolutional networks for large-scale image recognition, ArXiv Prepr. ArXiv1409.1556. (2014).
21. Z. Huang, Nasrullah, J. Wen, S. Song, M. Mateen, Fundus Image Classification Using VGG-19 Architecture with PCA and SVD, Symmetry (Basel). 11 (2018) 1. doi:10.3390/sym11010001.
22. G. Zhong, S. Yan, K. Huang, Y. Cai, J. Dong, Reducing and Stretching Deep Convolutional Activation Features for Accurate Image Classification, Cognit. Comput. 10 (2018) 179–186. doi:10.1007/s12559-017-9515-z.
23. M. Ali, S.I. Ali, D. Kim, T. Hur, J. Bang, S. Lee, B.H. Kang, M. Hussain, uEFS: An efficient and comprehensive ensemble-based feature selection methodology to select informative features, PLoS One. 13 (2018) e0202705. https://doi.org/10.1371/journal.pone.0202705.
24. Y. Zhang, S. Jia, H. Huang, J. Qiu, C. Zhou, A novel algorithm for the precise calculation of the maximal information coefficient, Sci. Rep. 4 (2014). doi:10.1038/srep06662.
25. Z. Chen, C. Kiat Yeo, B. Sung Lee Francis, C. Tong Lau, Combining MIC feature selection and feature-based MSPCA for network traffic anomaly detection, 2016. doi:10.1109/DIPDMWC.2016.7529385.
26. M. Topal, Çoklu Doğrusal Bağlantı Durumunda Ridge ve Temel Bileşenler Regresyon Analiz Yöntemlerinin Kullanımı, 41 (2010) 53–57.
27. A. Kirpich, E.A. Ainsworth, J.M. Wedow, J.R.B. Newman, G. Michailidis, L.M. McIntyre, Variable selection in omics data: A practical evaluation of small sample sizes, PLoS One. 13 (2018) e0197910–e0197910. doi:10.1371/journal.pone.0197910.
28. X. Chen, J.C. Jeong, Enhanced recursive feature elimination, in: Sixth Int. Conf. Mach. Learn. Appl. (ICMLA 2007), 2007: pp. 429–435. doi:10.1109/ICMLA.2007.35.
29. S. Huang, N. Cai, P.P. Pacheco, S. Narrandes, Y. Wang, W. Xu, Applications of Support Vector Machine (SVM) Learning in Cancer Genomics, Cancer Genomics Proteomics. 15 (2017) 41–51. doi:10.21873/cgp.20063.
30. P. Reeskamp, Is comparative advertising a trade mark issue ?, Eur. Intellect. Prop. Rev. 30 (2008) 130–137. doi:10.1145/2623330.2623612.
31. A. Tharwat, T. Gaber, A. Ibrahim, A.E. Hassanien, Linear discriminant analysis: A detailed tutorial, AI Commun. 30 (2017) 169–190. doi:10.3233/AIC-170729.
32. D.M.W. Powers, Ailab, Evaluation: From Precision, Recall and F-Measure To Roc, Informedness, Markedness & Correlation, 2 (2011) 37–63. doi:10.9735/2229-3981.
33. Guo, Hu, Wu, Peng, Wu, The Tabu_Genetic Algorithm: A Novel Method for Hyper-Parameter Optimization of Learning Algorithms, Electronics. 8 (2019) 579. doi:10.3390/electronics8050579.
34. F. Luus, N. Khan, I. Akhalwaya, Active Learning with TensorBoard Projector, (2019) 1–7. http://arxiv.org/abs/1901.00675.