A Hybrid Approach based on Deep Learning for Gender Recognition Using Human Ear Images

Öz

Nowadays, the use of the human ear images gains importance for the sustainability of biometric authorization and surveillance systems. Contemporary studies show that such processes can be done semi-automatically or fully automatically, instead of being done manually. Due to the fact that deep learning uses abstract features (i.e., representation learning), it reaches quite high performance values compared to classical methods. In our study, a synergistic gender recognition approach based on hybrid deep learning was created based on the use of human ear images in classifying people fully automatically according to their gender. By means of hybridization, hybrid deep neural network architectural models are used, which include both convolutional neural network component and recurrent neural network type components together. In these models, long-short term memory and gated recurrent unit are taken as recurrent neural network type components. Thanks to these components, the hybrid model extracts the relational dependencies between the pixel regions in the image very well. On account of this synergistic approach, the gender classification accuracy of hybrid models is higher than the standalone convolutional neural network model in our study. Two different image datasets with gender marking were used in our experiments. The reliability of the experimental results has been proven by objective metrics. In the conducted experiments, the highest values in gender recognition with hybrid models were obtained with the test accuracy of 85.16% for the EarVN dataset and 87.61% for the WPUT dataset, respectively. Discussion and conclusions are included in the last section of our study.

Anahtar Kelimeler

• Human Ear
• Gender Recognition
• Deep Learning
• Convolutional Neural Network
• Recurrent Neural Network

İnsan kulağı görüntüleri kullanarak cinsiyet tanıma için derin öğrenme tabanlı melez bir yaklaşım

Öz

Günümüzde insan kulak görüntülerinin kullanımı, biyometrik yetkilendirme ve gözetleme sistemlerinin sürdürülebilirliği adına önem kazanmaktadır. Güncel çalışmalar, böyle işlemlerin el ile yapılması yerine yarı otomatik veya tam otomatik olarak yapılabileceğini göstermektedir. Derin öğrenme soyut öznitelikleri (temsili öğrenme) kullanması nedeniyle klasik yöntemlere göre oldukça yüksek başarım değerlerine ulaşmaktadır. Çalışmamızda insanların cinsiyetlerine göre tam otomatik olarak sınıflandırılmasında insan kulağı görüntülerinin kullanımına dayanan melez derin öğrenme tabanlı sinerjik bir cinsiyet tanıma yaklaşımı oluşturulmuştur. Melezleme yoluyla hem evrişimli sinir ağı bileşeni hem de tekrarlayan sinir ağı tipli bileşenlerini bir arada içeren melez derin sinir ağı mimari modelleri kullanılmıştır. Bu modellerde tekrarlayan sinir ağı tipi bileşenler olarak uzun kısa süreli bellek ve kapılı tekrarlayan birim alınmıştır. Bu bileşenler sayesinde melez model görüntü içerisindeki piksel bölgeleri arasındaki ilişkisel bağımlılıkları oldukça iyi elde etmektedir. Bu sinerjik yaklaşım sayesinde çalışmamızdaki tek başına evrişimli sinir ağı modeline göre melez modellerin cinsiyet sınıflandırma doğruluğu daha yüksek olmaktadır. Cinsiyet işaretlemesine sahip iki farklı görüntü veri kümesi deneylerimizde kullanılmıştır. Deneysel sonuçların güvenirliği nesnel ölçütlerle kanıtlanmıştır. Yapılan deneylerde melez modellerle yapılan cinsiyet tanımada en yüksek değerler sırasıyla, EarVN veri kümesi için test doğruluğu %85,16 ve WPUT veri kümesi için test doğruluğu %87,61 oranlarında elde edilmiştir. Çalışmamızın son bölümünde tartışma ve sonuçlara yer verilmektedir.

Anahtar Kelimeler

• İnsan Kulağı
• Cinsiyet Tanıma
• Derin Öğrenme
• Evrişimli Sinir Ağı
• Tekrarlayıcı Sinir Ağı

Kaynakça

1. Wayman, J. L., Jain, A. K., Maltoni, D., Maio, D., Biometric Systems: Technology, Design and Performance Evaluation, Springer-Verlag London, XIV-370, 2005.
2. Resmi, K. R., Raju, G., Automatic 2D Ear Detection: A Survey, International Journal of Scientific & Technology Research, 8 (11), 3643-3647, 2019.
3. Phadke, S., The Importance of a Biometric Authentication System, The SIJ Transactions on Computer Science Engineering & its Applications CSEA), 1 (4), 2013.
4. Watne, K. S., Thermal Imaging of Ear Biometrics for Authentication Purposes, Master’s Thesis, Gjøvik University College, Department of Computer Science and Media Technologies, Norway, 2008.
5. Iannarelli, A. V., Ear Identification, Forensic Identification Series, Paramont Publishing Company, 1989.
6. Hassaballah, M., Alshazly, H. A., Ali, A. A., Ear Recognition using Local Binary Patterns: A Comparative Experimental Study, Expert Systems with Applications, 128, 182-200, 2019.
7. Emeršic, Z., Štruc, V., Peer, P., Ear Recognition: More Than A Survey, Neurocomputing, 255, 26-39, 2017.
8. Victor, B., Bowyer, K., Sarkar, S., An Evaluation of Face and Ear Biometrics, 16th International Conference on Pattern Recognition, IEEE, 1, 429-432, 2002.

9. Hurley, D. T., Nixon, M. S., Carter, J. N., Ear Biometrics by Force Field Convergence, In Proceedings of the Audio- and Video-Bsed Biometric Person Authentication, Springer, 386-394, 2005.
10. Nosrati, M. S., Faez, K., Faradji, F., Using 2D Wavelet and Principal Component Analysis for Personal Identification based on 2D Ear Structure, International Conference on Intelligent and Advanced Systems, IEEE, 616-620, 2007.
11. Annapurani, K., Sadiq, M. A. K., Malathy, C., Fusion of Shape of the Ear and Tragus - A Unique Feature Extraction Method for Ear Authentication System, Expert System with Applications, 42 (1), 649-656, 2015.
12. Anwar, A. S., Ghany, K. K. A., ElMahdy, H., Human Ear Recognition using SIFT Features, Third World Conference on Complex Systems (WCCS), 1-6, 2015.
13. Galdamez, P. L., Raveane, W., Arrieta, A. G., A Brief Review of the Ear Recognition Process using Deep Neural Networks, Journal of Applied Logic, 24 (A), 62-70, 2017.
14. Lia, L., Ouyang, W., Wang, X., Fieguth, P., Chen, J., Liu, X., Pietikäinen, M., Deep Learning for Generic Object Detection: A Survey, International Journal of Computer Vision, 128, 261-218, 2020.
15. Metin, İ. A., Karasulu, B., İnsan Aktivitelerinin Sınıflandırılmasında Tekrarlayan Sinir Ağı Kullanan Derin Öğrenme Tabanlı Yaklaşım, Veri Bilimi, 2 (2), 1-10, 2019.
16. Fırtına, N., Silahtaroğlu, G., Kulaktan Kişi ve Kimlik Tespiti için Örnek Bir Uygulama, Beykent Üniversitesi Fen ve Mühendislik Bilimleri Dergisi, 7 (2), 21-46, 2014.
17. Choras, M., Ear Biometrics Based on Geometrical Feature Extraction, Electronic Letters on Computer Vision and Image Analysis, 5 (3), 84-95, 2005.
18. Hurley, D. J., Nixon, M. S., Carter, J. N., Forced Field Feature Extraction for Ear Biometrics, Computer Vision and Image Understanding, 98, 491-512, 2005.
19. Kocaman, B., Ear Biometrics In Personal Identification, M.Sc.Thesis, Istanbul Technical University, Institute of Science and Technology, Turkey, 2008.
20. Singh, D., Singh, S. K., A Survey on Human Ear Recognition System Based on 2D and 3D Ear Images, Open Journal of Information Security and Applications, 1 (2), 21-30, 2014.
21. Abaza, A., Harrison, M. A. F., Ear recognition: a complete system, Proc. SPIE 8712, Biometric and Surveillance Technology for Human and Activity Identification X, 87120N, Baltimore, Maryland, United States, 2013.
22. Srivastava P., Agrawal D., Bansal A., Ear Detection and Recognition Techniques: A Comparative Review. In: Kolhe M., Tiwari S., Trivedi M., Mishra K. (eds) Advances in Data and Information Sciences. Lecture Notes in Networks and Systems, 94. Springer, Singapore, 2020.
23. Alshazly, H., Linse, C., Barth, E., Martinetz, T., Handcrafted versus CNN Features for Ear Recognition, Symmetry. 11 (12), 1493, 2019.
24. Emeršic, Z., Štepec, D., Štruc, V., Peer, P., Training convolutional neural networks with limited training data for ear recognition in the wild, 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017), IEEE, Washington, DC, USA, 987-994, 2017.
25. Krizhevsky, A., Sutskever, I., Hinton, G.E., ImageNet classification with deep convolutional neural networks, Advances in Neural Information Processing Systems (NIPS), 1097-1105, 2012.
26. Simonyan, K., Zisserman, A., Very deep convolutional networks for large-scale image recognition, International Conference on Learning Representations (ICLR), San Diego, CA, USA, May 7-9, 2015.
27. Iandola, F.N., Han, S., Moskewicz, M.W., Ashraf, K., Dally, W.J., Keutzer, K., SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5 MB model size, arXiv:1602.07360, 2016.
28. Yosinski, J., Clune, J., Bengio, Y., Lipson, H., How transferable are features in deep neural networks? 27th International Conference on Neural Information Processing Systems, Montreal, QC, Canada, 8–13 December, 3320–3328, 2014.
29. Alshazly, H., Linse, C., Barth, E., Martinetz, T., Ensembles of Deep Learning Models and Transfer Learning for Ear Recognition, Sensors. 19 (19), 4139, 2019.
30. Salah, A. A., Gevers, T., Sebe, N., Vinciarelli, A., Computer Vision for Ambient Intelligence, Journal of Ambient Intelligence and Smart Environments, 3 (3), 187-191, 2011.
31. Yuan, L., Mu, Z. C., Yang, F., A Review of Recent Advances in Ear Recognition, Proceedings of 6th Chinese Conference on Biometric Recognition (CCBR), Beijing, China, 2011.
32. Bengio, Y., LeCun, Y., Hinton, G., Deep Learning, Nature, 521 (7553), 436-444, 2015.
33. Brownlee, J., What is Deep Learning? Machine Learning Mastery. Yayınlanma Tarihi: Ağustos 16, 2019. Çevrimiçi: https://machinelearningmastery.com/what-is-deep-learning/, Erişim Tarihi: Mart 23, 2021.
34. Şeker, A., Diri, B., Balık, H. H., Derin Öğrenme Yöntemleri ve Uygulamaları Hakkında Bir İnceleme, Gazi Mühendislik Bilimleri Dergisi, 3 (3), 47-64, 2017.
35. Gündüz, G., Cedimoğlu, İ. H., Derin Öğrenme Algoritmalarını Kullanarak Görüntüden Cinsiyet Tahmini. Sakarya University Journal of Computer and Information Sciences, 2 (1), 9-17. 2019.
36. Takhtardeshir, S., Mahdipour, M., Ghaderi, R., Azimi, P., How Can Deep Learning Track Brain Metastasis Using Convolutional Neural Network?, 7th Iranian Human Brain Mapping Congress (IHBM 2020), November, 9-12. Iran, 2020.
37. Dickson, B., What are convolutional neural networks (CNN)?, TechTalks, Yayınlanma Tarihi: Haziran 6, 2020, Çevrimiçi: https://bdtechtalks.com/2020/01/06/convolutional-neural-networks-cnn-convnets/, Erişim Tarihi: Mart 24, 2021.
38. Aydın, E., Yüksek, S. E., Buried Target Detection with Ground Penetrating Radar Using Deep Learning Method, 25th Signal Processing and Communications Applications Conference (SIU 2017), pp. 1-4, May, 15-18. Antalya, Turkey, 2017.
39. Namatevs, I., Deep Convolutional Neural Networks: Structure, Feature Extraction and Training, Information Technology and Management Science, De Gruyter, 20, 40–47, 2017.
40. Cengil, E., Çınar, A., New Approach for Image Classification: Convolutional Neural Network, European Journal of Technic, 6 (2), 96-103, 2016.
41. Karasulu, B., Çoklu Ortam Sistemleri için Siber Güvenlik Kapsamında Derin Öğrenme Kullanarak Ses Sahne ve Olaylarının Tespiti, Acta Infologica, 3 (2), 60-82, 2019.
42. Lipton, Z. C., Berkowitz, J., Elkan, C., A Critical Review of Recurrent Neural Networks for Sequence Learning, arXiv e-prints arXiv:1506.00019, 2015.
43. Onan, A., Evrişimli Sinir Ağı Mimarilerine Dayalı Türkçe Duygu Analizi, Avrupa Bilim ve Teknoloji Dergisi, Özel Sayı, 374-380, 2020.
44. Amidi, A., Amidi, S., Recurrent Neural Networks. CS 230 - Deep Learning Course Materials. Stanford University. Yayınlanma Tarihi: Kasım 26, 2018, Çevrimiçi: https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-recurrent-neural-networks, Erişim Tarihi: Mart 10, 2021.
45. Yıldız, O., Derin öğrenme yöntemleriyle dermoskopi görüntülerinden melanom tespiti: Kapsamlı bir çalışma, Journal of the Faculty of Engineering and Architecture of Gazi University, 34 (4), 2241-2260, 2019.
46. Kaytan, M., Yeroğlu, C., Aydilek, İ. B., Yapay Sinir Ağları Eğitiminde Kullanılan Optimizasyon Yöntemlerinin İncelenmesi ve Kan Nakli Hizmet Merkezi Veri Seti Üzerinden Değerlendirilmesi. Anatolian Journal of Computer Sciences. 5 (2), 99-113, 2020.
47. Gülcü, A., Kuş, Z. A Survey of Hyper-parameter Optimization Methods in Convolutional Neural Networks. Gazi Üniversitesi Fen Bilimleri Dergisi, 7 (2), 503-522, 2019.
48. Metin, İ. A., Karasulu, B., İnsanın günlük aktivitelerinin yeni bir veri kümesi: Derin öğrenme tekniklerini kullanarak sınıflandırma performansı için kıyaslama sonuçları, Journal of the Faculty of Engineering and Architecture of Gazi University, 36 (2), 759-777, 2021.
49. Kilimci, Z. H., Borsa tahmini için Derin Topluluk Modelleri (DTM) ile finansal duygu analizi, Journal of the Faculty of Engineering and Architecture of Gazi University, 35 (2), 635-650, 2020.
50. Hochreiter, S., Schmidhuber, J., Long short-term memory, Neural Computation, 9 (8), 1735-1780, 1997.
51. Srivastava, P., Essentials of Deep Learning: Introduction to Long Short Term Memory, Analytics Vidhya, Çevrimiçi: https://www.analyticsvidhya.com/blog/2017/12/fundamentals-of-deep-learning-introduction-to-lstm/, Erişim Tarihi: Nisan 4, 2020.
52. Aytaç Altan, A., Karasu, S., Ayrıştırma Yöntemlerinin Derin Öğrenme Algoritması ile Tanımlanan Rüzgâr Hızı Tahmin Modeli Başarımına Etkisinin İncelenmesi, Avrupa Bilim ve Teknoloji Dergisi, 20, 844-853. 2020.
53. Chung, J., Gulcehre, C., Cho, K. H., Bengio, Y., Empirical evaluation of gated recurrent neural networks on sequence modeling. In NIPS 2014 Workshop on Deep Learning and Representation Learning, arXiv:1412.3555, December 11, 2014.
54. Görgel, P., Kavlak, E., Uzun Kısa Süreli Hafıza ve Evrişimsel Sinir Ağları ile Rüzgâr Enerjisi Üretim Tahmini, DÜMF Mühendislik Dergisi, 11 (1), 69-80, 2020.
55. GaussianNoise layer, Keras, Çevrimiçi: https://keras.io/api/layers/regularization_layers/gaussian_noise/, Erişim Tarihi: Mayıs 3, 2021.
56. Reshape layer, Keras, Çevrimiçi: https://keras.io/api/layers/reshaping_layers/reshape/, Erişim tarihi Mayıs 4, 2021.
57. Permute layer, Keras, Çevrimiçi: https://keras.io/api/layers/reshaping_layers/permute/, Erişim tarihi Mayıs 4, 2021.
58. Buduma, N., Fundamentals of Deep Learning: Designing Next-Generation Machine Intelligence Algorithms, O’Reilly UK Ltd., 2017.
59. Chollet, F., Deep Learning with Python, Manning Publications, 2017.
60. Kingma, D. P., Ba, J., Adam: A Method for Stochastic Optimization, ICLR 2015, arXiv e-prints arXiv:1412.6980, https://arxiv.org/abs/1412.6980, 2014.
61. Keras, About Keras, https://keras.io/about/, Erişim tarihi Mayıs 8, 2021.
62. Hoang, V. T., EarVN1.0 dataset, Çevrimiçi: https://data.mendeley.com/datasets/yws3v3mwx3/4, Erişim tarihi Nisan 8, 2020.
63. Zhou, Y., Zaferiou, S., Deformable Models of Ears in-the-Wild for Alignment and Recognition, 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017), 626-633, 2017.
64. Hoang, V. T., EarVN1.0: A new large-scale ear images dataset in the wild, Data in Brief. Elsevier, 27, 104630, 2019.
65. Frejlichowski D, Tyszkiewicz N., The West Pomeranian University of Technology Ear Database A Tool for Testing Biometric Algorithms. In: Campilho A., Kamel M., (Editors). Image Analysis and Recognition. vol. 6112 of Lecture Notes in Computer Science. Springer Berlin / Heidelberg, 227–234, 2010.
66. Bingöl, K., Akan A., Örmecioğlu, H., Er, A., Artificial intelligence applications in earthquake resistant architectural design: Determination of irregular structural systems with deep learning and Image AI method, Journal of the Faculty of Engineering and Architecture of Gazi University, 35 (4), 2971-2210, 2020.
67. Python programming language website, https://www.python.org/, Erişim tarihi Mayıs 20, 2021.
68. Tensorflow websitesi, https:// www. tensorflow. org/, Erişim tarihi Mayıs 20, 2021.
69. Matplotlib: Visualization with Python web sitesi, https://matplotlib.org/, Erişim tarihi Mayıs 20, 2021.
70. OpenCV web sitesi, https://opencv.org/, Erişim tarihi Mayıs 20, 2021.
71. Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., Batra D., Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. International Journal of Computer Vision, 128 (2), 336–359, 2020.
72. Chattopadhay, A., Sarkar, A., Howlader, P., Balasubramanian, V.N., Grad-CAM++: Generalized Gradient-Based Visual Explanations for Deep Convolutional Networks, Winter Conference on Applications of Computer Vision (WACV), IEEE, pp. 839-84, March 12-15, Lake Tahoe, NV, USA, 2018.
73. Islam, M. Z., Islam, M. M., Asraf, A., A combined deep CNN-LSTM network for the detection of novel coronavirus (COVID-19) using X-ray images, Informatics in Medicine Unlocked, 20 (100412), 1-11, 2020.