Comparison of Optimization Methods Used in CNN Models for Detection of Facial Expressions

Abstract

Facial expressions are one of the main channels of information in interpersonal communication. People make too many facial expressions to express psychological states in their daily lives. These facial expressions are divided into basic and complex emotions. While humans still struggle to identify these expressions of emotion, it is an emerging topic for machines as well. For this reason, it has attracted a lot of attention lately. In this study, the 7 basic emotions in the Compound Emotion (CE) dataset of Ohio State University, which are natural, happy, sad, angry, surprised, fearful and disgusted, are emphasized. The dataset consists of 1610 images. To increase the performance, 5478 images are obtained by applying the data duplication process. The effects of optimization methods in the classification process are shown with trained convolutional neural network models. The most successful result is determined in the emotion classes of Adadelta, Adagrad and SGD optimization methods together with the VGG19 and MobileNet models.

Keywords

• Convolutional Neural Network,
• Optimization Methods
• Face Expressions

Yüz İfadelerini Sınıflandırmada CNN Modellerinde Kullanılan Optimizasyon Yöntemlerinin Karşılaştırılması

Abstract

Yüz ifadeleri, insanlar arası iletişimde ana bilgi kanallarından biridir. İnsanlar günlük hayatlarında psikolojik durumları ifade etmek için çok fazla yüz ifadesi oluşturmaktadır. Bu yüz ifadeleri temel ve karmaşık duygular olarak ayrılır. İnsanlar bu duygu ifadelerini tanımlamada hala zorlanırken makineler için de gelişmekte olan bir konudur. Bu sebeple son zamanlarda çok fazla ilgi görmektedir. Bu çalışmada Ohio Eyalet Üniversitesine ait Compound Emotion (CE) veri setindeki temel 7 duygu olan doğal, mutlu, üzgün, öfkeli, şaşırmış, korkulu ve iğrenme duyguları üzerinde durulmaktadır. Veri seti 1610 görüntüden oluşmaktadır. Başarımı arttırmak için veri çoğaltma işlemi uygulanarak 5478 görüntü elde edilmektedir. Eğitilmiş evrişimli sinir ağı modelleri ile sınıflandırma işleminde optimizasyon yöntemlerinin etkileri gösterilmektedir. VGG19 ve MobileNet modelleri ile birlikte Adadelta, Adagrad ve SGD optimizasyon yöntemlerinin duygu sınıflarında en başarılı sonuç tespit edilmektedir.

Keywords

• Evrişimli Sinir Ağı
• Optimizasyon Yöntemleri
• Yüz İfadeleri

References

1. Alimovski, E. ve Erdemir, G. (2021). Veri artırma tekniklerinin derin öğrenmeye dayalı yüz tanıma sisteminde etkisi. İstanbul Sabahattin Zaim Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 3(1), 76-80.
2. Chen, M., Zhang, L., & Allebach, J.P. (2015). Learning deep features for image emotion classification. 2015 IEEE International Conference on Image Processing (ICIP), 4491-4495.
3. Defazio, A. (2020). Optimizasyon yöntemleri 1. 25 Mayıs tarihinde https://atcold.github.io/pytorch-Deep-Learning/tr/week05/05-1/ adresinden erişildi.
4. Du, S., Tao, Y. & Martinez, A. M. (2014). Compound facial expressions of emotion. Proceedings of the national academy of sciences, 111(15), E1454-E1462.
5. Jung, H., Lee, S., Yim, J., Park, S., & Kim, J. (2015) Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition. 2015 IEEE International Conference on Computer Vision (ICCV), 2983-2991. doi: 10.1109/ICCV.2015.341.
6. Kandhro, I. A., Uddin, M., Hussain, S., Chaudhery, T. J., Shorfuzzaman, M., Meshref, H., ... & Khalaf, O. I. (2022). Impact of Activation, Optimization, and Regularization Methods on the Facial Expression Model Using CNN. Computational Intelligence and Neuroscience, 2022.
7. Ko, B. (2018). A Brief Review of Facial Emotion Recognition Based on Visual Information. Sensors, 18(2). doi: 10.3390/s18020401.
8. Li, J., Jin, K., Zhou, D., Kubota, N., & Ju, Z. (2020). Attention mechanism-based CNN for facial expression recognition. Neurocomputing, 411,340-350. https://doi.org/10.1016/j.neucom.2020.06.014.

9. Littlewort, G., Bartlett, M. S., Fasel, M. S., Chenu, J., Kanda, T., Ishiguro, H. & Movellan, J. R. (2003). Towards social robots: Automatic evaluation of human-robot interaction by face detection and expression classification, 2003.
10. Özdemir, D., ve Karaman, S. (2017). Investigating interactions between students with mild mental retardation and humanoid robot in terms of feedback types. Egitim ve Bilim, 42(191),109-138.
11. Pujara, A. (2020). Image classification with mobilenet. 27 Mayıs tarihinde https://medium.com/analytics-vidhya/image-classification-with-mobilenet-cc6fbb2cd470 adresinden erişildi.
12. Seyyarer, E., Ayata, F., Uçkan, T. & Karcı, A. (2020). Derin öğrenmede kullanılan optimizasyon algoritmalarının uygulanması ve kıyaslanması. Computer Science, 5(2), 90-98.
13. TensorFlow Core (Kasım, 2020) https://www.tensorflow.org/api_docs/python/tf/keras/preprocessing/image/ImageDataGenerator.
14. Videla, L. S., & Kumar, P. A. (2020, July). Facial expression classification using vanilla convolution neural network. In 2020 7th international conference on smart structures and systems (ICSSS) (pp. 1-5). IEEE.
15. Voulodimos, A. ve Doulamis, N. (2018). Anastasios Doulamis, Eftychios Protopapadakis. Deep Learning for Computer Vision: A Brief Review. Computational Intelligence and Neuroscience. https://doi.org/10.1155/2018/7068349
16. Yolcu, G., Oztel, I., Kazan, S., Oz, C., Palaniappan, K., Lever, T. E., & Bunyak, F. (2017). Deep learning-based facial expression recognition for monitoring neurological disorders. IEEE International Conference on Bioinformatics and Biomedicine (BIBM), 1652–1657.
17. Zhang Y. & Hua, C. (2015). Driver fatigue recognition based on facial expression analysis using local binary patterns. Opt. - Int. J. Light Electron Opt., 126(23), 4501–4505.
18. Zheng, Y., Yang, C., & Merkulov, A. (2018). Breast cancer screening using convolutional neural network and follow-up digital mammography. In Computational Imaging III (Vol. 10669, p. 1066905). SPIE.