Classification of Flower Species by Using Feature Selection Methods in Convolutional Neural Network Models

Yıl 2020, Cilt: 32 Sayı: 1, 47 - 56, 03.03.2020

Mesut Toğaçar Burhan Ergen Fatih Özyurt

https://doi.org/10.35234/fumbd.573630

Cited By: 10

Öz

The fact that image processing methods and techniques give better
results every day is important for the sensitivity of ecological balance. This
article deals with the classification of plant species, which is the main
element of the ecological balance. Recently, the use of deep learning methods
on plant species has increased. Another aim of our study is to create a reference
for comparing the image data used in this field to other studies which will use
the same data set. In this study, five-class plant images that are accessible
for the classification of plant species were utilized. The data set consists of
4242 images. In the data set, the convolutional neural network (CNN) from deep
learning models was used for feature extraction. The features obtained from
plant species were classified by support vector machines (SVM) and the results
obtained were compared. As a result of the comparison, the best classification
performance was provided by VGG-16 architecture. The obtained classification
accuracy rate is 86.56%. In the next phase, the number of properties of the
last layer of CNN architectures was reduced by using the Maximal Information
Coefficient (MIC), Ridge Regression and Recursive Feature Elimination  (RFE). The most efficient features derived
from feature selection methods were re-classified with SVM. The classification
success rate increased by 5.24% and became 91.10%. In this study, it was
observed that the use of feature selection methods together with CNN
architectures were effective in the classification of flower species.

Anahtar Kelimeler

CNN, deep learning, image processing, feature selection, flower types

Evrişimsel Sinir Ağı Modellerinde Özellik Seçim Yöntemlerini Kullanarak Çiçek Görüntülerinin Sınıflandırılması

Öz

Görüntü işleme yöntem ve tekniklerinin gün geçtikçe daha iyi sonuç vermesi, ekolojik dengenin duyarlılığı açısından önem arz etmektedir. Bu makale ekolojik dengenin temel unsuru olan çiçek görüntülerinin sınıflandırılmasını ele almaktadır. Son zamanlarda çiçek görüntüleri üzerinde derin öğrenme yöntemlerinin kullanımı artmıştır. Bu çalışmada, çiçek görüntülerinin sınıflandırılması için internette erişime açık olan veri seti kullanılmıştır. Veri seti 4326 görüntüden oluşmaktadır. Elde edilen veri kümesinde özellik çıkarımı için derin öğrenme modellerinden evrişimsel sini ağı (ESA) kullanılmıştır. ESA mimarilerinden AlexNet, VGG-16 ve VGG-19 modelleri kullanılmıştır. Üç modelinde ortak özelliği 1000 özellik veren tam bağlantılı katmana sahip olmalarıdır. Çiçek görüntülerinden elde edilen özellikler destek vektör makineleri (DVM) ile sınıflandırılmış ve elde edilen sonuçlar karşılaştırılmıştır. Karşılaştırma sonucunda en iyi sınıflandırma performansını VGG-16 mimarisi ile sağlanmıştır. Elde edilen sınıflandırma doğruluk oranı %86,56’dır. Sonraki aşamada ESA mimarilerinin son tam bağlantılı katmanından elde edilen 1000 özellik birleştirilerek 3000 özellik seti oluşturuldu. Ardından, özellik seçim yöntemlerinden; Maksimum Bilgi Katsayısı (MBK), Ridge regresyonu ve Özyinelemeli Özellik Eleme (ÖÖE) yöntemleri kullanılarak özellik sayısı 300’e düşürülmüştür. Özellik seçim yöntemleri ile çıkartılan en verimli özellikler DVM yöntemi ile yeniden sınıflandırılmıştır. Sınıflandırma başarı oranı yaklaşık %4,54 artarak %91,10 olmuştur. Bu çalışma ile çiçek görüntülerinin sınıflandırılmasında ESA mimarileri ile birlikte özellik seçim yöntemlerinin kullanımının etkili olduğu gözlemlenmiştir.

Anahtar Kelimeler

ESA, derin öğrenme, görüntü işleme, özellik seçimi, çiçek türleri

Kaynakça

• A.B. Roddy, G.-F. Jiang, K. Cao, K.A. Simonin, C.R. Brodersen, Hydraulic traits are more diverse in flowers than in leaves, New Phytol. 0 (2019). doi:10.1111/nph.15749.
• S. Madoui, N. Charef, L. Arrar, A. Baghianni, S. Khennouf, In vitro Antioxidant Activities of Various Extracts from Flowers-Leaves Mixture of Algerian Cytisus triflorus, Annu. Res. Rev. Biol. 26 (2018) 1–13. doi:10.9734/arrb/2018/41297.
• C. MJM, J. W. BYNG, The Number of known Plants Species in the Word and its Annual Increase, Phytotaxa. 261 (2016) 201–217.
• S. SOLAK, U. ALTINIŞIK, Görüntü İşleme Teknikleri ve Kümeleme Yöntemleri Kullanılarak Fındık Meyvesinin Tespit ve Sınıflandırılması, SAÜ Fen Bilim. Enstitüsü Derg. (2018) 1–1. doi:10.16984/saufenbilder.303850.
• Z. Cömert, A.F. Kocamaz, Fetal Hypoxia Detection Based on Deep Convolutional Neural Network with Transfer Learning Approach BT - Software Engineering and Algorithms in Intelligent Systems, in: R. Silhavy (Ed.), Springer International Publishing, Cham, 2019: pp. 239–248.
• M. Reichstein, G. Camps-Valls, B. Stevens, M. Jung, J. Denzler, N. Carvalhais, Prabhat, Deep learning and process understanding for data-driven Earth system science, Nature. 566 (2019) 195–204. doi:10.1038/s41586-019-0912-1.
• F. Özyurt, E. Avcı, M. Koç, A. Doğantekin, A novel approach for liver image classification: PH-C-ELM, Meas. J. Int. Meas. Confed. 137 (2019) 332–338. doi:10.1016/j.measurement.2019.01.060.
• H. Hiary, H. Saadeh, M. Saadeh, M. Yaqub, Flower classification using deep convolutional neural networks, IET Comput. Vis. 12 (2018) 855–862. doi:10.1049/iet-cvi.2017.0155.
• H. Hiary, H. Saadeh, M. Saadeh, M. Yaqub, Flower classification using deep convolutional neural networks, IET Comput. Vis. 12 (2018) 855–862. doi:10.1049/iet-cvi.2017.0155.
• M. Cıbuk, U. Budak, Y. Guo, M.C. Ince, A. Sengur, Efficient deep features selections and classification for flower species recognition, Measurement. 137 (2019) 7–13. doi:https://doi.org/10.1016/j.measurement.2019.01.041.
• P.A. Dias, A. Tabb, H. Medeiros, Apple flower detection using deep convolutional networks, Comput. Ind. 99 (2018) 17–28. doi:https://doi.org/10.1016/j.compind.2018.03.010.
• M. Mehdipour Ghazi, B. Yanikoglu, E. Aptoula, Plant identification using deep neural networks via optimization of transfer learning parameters, Neurocomputing. 235 (2017) 228–235. doi:https://doi.org/10.1016/j.neucom.2017.01.018.
• M. Seeland, M. Rzanny, N. Alaqraa, J. Wäldchen, P. Mäder, Plant species classification using flower images—A comparative study of local feature representations, PLoS One. 12 (2017) e0170629. https://doi.org/10.1371/journal.pone.0170629.
• D.S. Guru, Y.H. Sharath Kumar, S. Manjunath, Textural features in flower classification, Math. Comput. Model. 54 (2011) 1030–1036. doi:https://doi.org/10.1016/j.mcm.2010.11.032.
• Y. Chai, E. Rahtu, V. Lempitsky, L. Van Gool, A. Zisserman, TriCoS: A Tri-level Class-Discriminative Co-segmentation Method for Image Classification BT - Computer Vision – ECCV 2012, in: A. Fitzgibbon, S. Lazebnik, P. Perona, Y. Sato, C. Schmid (Eds.), Springer Berlin Heidelberg, Berlin, Heidelberg, 2012: pp. 794–807.
• Q. Chen, Z. Song, Y. Hua, Z. Huang, S. Yan, Hierarchical matching with side information for image classification, in: 2012 IEEE Conf. Comput. Vis. Pattern Recognit., 2012: pp. 3426–3433. doi:10.1109/CVPR.2012.6248083.
• Alexander Mamaev, Flowers Recognition | Kaggle, (n.d.). https://www.kaggle.com/alxmamaev/flowers-recognition (accessed June 2, 2019).
• J. Koushik, Understanding Convolutional Neural Networks, (2016). doi:10.1016/j.jvcir.2016.11.003.
• K. O’Shea, R. Nash, An Introduction to Convolutional Neural Networks, (2015). doi:10.1007/978-3-642-28661-2-5.
• K. Simonyan, A. Zisserman, Very deep convolutional networks for large-scale image recognition, ArXiv Prepr. ArXiv1409.1556. (2014).
• Z. Huang, Nasrullah, J. Wen, S. Song, M. Mateen, Fundus Image Classification Using VGG-19 Architecture with PCA and SVD, Symmetry (Basel). 11 (2018) 1. doi:10.3390/sym11010001.
• G. Zhong, S. Yan, K. Huang, Y. Cai, J. Dong, Reducing and Stretching Deep Convolutional Activation Features for Accurate Image Classification, Cognit. Comput. 10 (2018) 179–186. doi:10.1007/s12559-017-9515-z.
• M. Ali, S.I. Ali, D. Kim, T. Hur, J. Bang, S. Lee, B.H. Kang, M. Hussain, uEFS: An efficient and comprehensive ensemble-based feature selection methodology to select informative features, PLoS One. 13 (2018) e0202705. https://doi.org/10.1371/journal.pone.0202705.
• Y. Zhang, S. Jia, H. Huang, J. Qiu, C. Zhou, A novel algorithm for the precise calculation of the maximal information coefficient, Sci. Rep. 4 (2014). doi:10.1038/srep06662.
• Z. Chen, C. Kiat Yeo, B. Sung Lee Francis, C. Tong Lau, Combining MIC feature selection and feature-based MSPCA for network traffic anomaly detection, 2016. doi:10.1109/DIPDMWC.2016.7529385.
• M. Topal, Çoklu Doğrusal Bağlantı Durumunda Ridge ve Temel Bileşenler Regresyon Analiz Yöntemlerinin Kullanımı, 41 (2010) 53–57.
• A. Kirpich, E.A. Ainsworth, J.M. Wedow, J.R.B. Newman, G. Michailidis, L.M. McIntyre, Variable selection in omics data: A practical evaluation of small sample sizes, PLoS One. 13 (2018) e0197910–e0197910. doi:10.1371/journal.pone.0197910.
• X. Chen, J.C. Jeong, Enhanced recursive feature elimination, in: Sixth Int. Conf. Mach. Learn. Appl. (ICMLA 2007), 2007: pp. 429–435. doi:10.1109/ICMLA.2007.35.
• S. Huang, N. Cai, P.P. Pacheco, S. Narrandes, Y. Wang, W. Xu, Applications of Support Vector Machine (SVM) Learning in Cancer Genomics, Cancer Genomics Proteomics. 15 (2017) 41–51. doi:10.21873/cgp.20063.
• P. Reeskamp, Is comparative advertising a trade mark issue ?, Eur. Intellect. Prop. Rev. 30 (2008) 130–137. doi:10.1145/2623330.2623612.
• A. Tharwat, T. Gaber, A. Ibrahim, A.E. Hassanien, Linear discriminant analysis: A detailed tutorial, AI Commun. 30 (2017) 169–190. doi:10.3233/AIC-170729.
• D.M.W. Powers, Ailab, Evaluation: From Precision, Recall and F-Measure To Roc, Informedness, Markedness & Correlation, 2 (2011) 37–63. doi:10.9735/2229-3981.
• Guo, Hu, Wu, Peng, Wu, The Tabu_Genetic Algorithm: A Novel Method for Hyper-Parameter Optimization of Learning Algorithms, Electronics. 8 (2019) 579. doi:10.3390/electronics8050579.
• F. Luus, N. Khan, I. Akhalwaya, Active Learning with TensorBoard Projector, (2019) 1–7. http://arxiv.org/abs/1901.00675.