ÇOCUKLARDA YÜZ İFADESİ TANIMLAMA İÇİN YENİ VERİ SETİ ÖNERİLMESİ VE VERİ SET ÜZERİNDE DERİN ÖĞRENME MODELLERİNİN KARŞILAŞTIRILMASI

Öz

Gelişen teknoloji ile akıllı sistemler günlük hayatımızda yer edinmeye başlamıştır. Sosyal hayatta aktif olarak katılacak sistem ve teknolojilerin sosyal hayata uyum sağlamaları oldukça önemlidir. Sosyal hayata uyum sağlamanın en önemli adımlarından birisi iletişimdir. Yüz ifadeleri genellikle sözlü olarak gerçekleştirilen iletişimi destekleyen iletişimin oldukça önemli parçalarından biridir. Bu nedenle son zamanlarda oldukça popüler bir alan olmuş olan yüz ifadelerini tanımlama üzerinde pek çok çalışma gerçekleştirilmiştir. Gerçekleştirilen bu çalışmaların büyük bir çoğunluğu yalnızca yetişkin yüzlerinin içeren veri setleri kullanılarak gerçekleştirilmiştir. Yaşlı ve çocukları içermeyen çalışmaların yapılması oldukça yanlı sistemlerin oluşturulması ve geliştirilmesine neden olabilir. Bu nedenle bu makalede ihmal edilen gruplardan bir tanesi olan çocuklar yüzleri üzerinde bir çalışma gerçekleştirilmiştir. Çalışmada arama motorlarında belirlenmiş olan anahtar kelimeler kullanılarak çocuk yüz ifadelerini içeren bir veri set hazırlanmıştır. Hazırlanmış olan bu veri seti üzerinde transfer öğrenme kullanılarak VGG16, ResNet50, DenseNet121, InceptionV3, InceptionResNetV2 ve Xception modellerinin başarıları değerlendirilmiştir ve karşılaştırılmıştır. Değerlendirmeye göre en iyi sonuç %76.3 doğruluk oranı ve 0.76 F1 skoru ile InceptionV3 modeli ile elde edilmiştir.

Anahtar Kelimeler

• Çocuklarda Yüz İfadesi Tespiti
• Yüz İfadesi Tanıma
• Derin Öğrenme
• Transfer Öğrenme

PROPOSAL OF NEW DATASET FOR CHILD FACE EXPRESSION RECOGNITION AND COMPARISON OF DEEP LEARNING MODELS ON THE PROPOSED DATASET

Abstract

With the developing technology, smart systems have started to take place in our daily lives. Accordingly, it is very important for the systems that will actively participate in social life to adapt to social life properly. One of the most important steps of adapting to social life is communication. Facial expressions are one of the most important parts of communication that usually supports verbal communication. For this reason, many studies have been carried out on identifying facial expressions. The vast majority of these studies were carried out using datasets containing only adult faces. Conducting studies that do not involve the elderly and children may lead to the creation and development of highly biased smart systems. Therefore, this article focuses on detecting children's facial expressions. In order to detect facial expressions in children, a data set was prepared with images collected from search engines using keywords. By using the transfer learning method, the success of VGG16, ResNet50, DenseNet121, InceptionV3, InceptionResNetV2 and Xception models were evaluated and compared on this prepared data set. According to the evaluation results, the best result was obtained with the InceptionV3 model with an accuracy rate of 76.3% and an F1 score of 0.76.

Keywords

• Child Facial Expression Recognition
• Facial Expression Recognition
• Deep Learning
• Transfer learning

Kaynakça

1. Jack R.E., Schyns P.G. The Human Face as a Dynamic Tool for Social Communication. Curr Biol. 2015; 25:R621–R634. https://doi.org/10.1016/j.cub.2015.05.052.
2. DeVito Jospeh A. Human Communication. Boston: Pearson; 2002.
3. Howard A., Zhang C., Horvitz E. Addressing bias in machine learning algorithms: A pilot study on emotion recognition for intelligent systems. 2017 IEEE Workshop on Advanced Robotics and its Social Impacts, ARSO 2017. Austin, TX, USA; 2017. https://doi.org/10.1109/ARSO.2017.8025197.
4. Guo G., Guo R., Li X. Facial expression recognition influenced by human aging. IEEE Trans. Affect. Comput. 2013; 4: 291–298. https://doi.org/10.1109/T-AFFC.2013.13.
5. Houstis O., Kiliaridis S. Gender and age differences in facial expressions. Eur. J. Orthod. 2009; 31: 459–466. https://doi.org/10.1093/ejo/cjp019.
6. Brandao M., Age and gender bias in pedestrian detection algorithms. arXiv Prepr. arXiv:1906.10490, 2019.
7. Egger H.L., Pine D.S., Nelson E., Leibenluft E., Ernst M., Towbin, K.E., et al. The NIMH Child Emotional Faces Picture Set (NIMH-ChEFS): a new set of children’s facial emotion stimuli. Int. J. Methods Psychiatr. Res. 2011; 20: 145–156. https://doi.org/10.1002/mpr.343.
8. Lobue V., Thrasher C., Kret M.E. The Child Affective Facial Expression (CAFE) set: validity and reliability from untrained adults. Front. Psychol. 2015; 5: 1532. https://doi.org/10.3389/fpsyg.2014.01532.

9. Ekman P., Friesen W. V., EllsWorth P. Emotion in the Human Face. 1st ed. Pergamon Press; 1972. https://doi.org/10.1016/C2013-0-02458-9.
10. Rao A., Ajri S., Guragol A., Suresh R., Tripathi S. Emotion Recognition from Facial Expressions in Children and Adults Using Deep Neural Network. Int. J. Intell. Syst. 2020; 43–51. https://doi.org/10.1007/978-981-15-3914-5_4.
11. Leo M., Del Coco M., Carcagnì P., Distante C., Bernava M., Pioggia G., et al. Automatic Emotion Recognition in Robot-Children Interaction for ASD Treatment. IEEE International Conference on Computer Vision, ICCV 2015. Santiago, Chile: 2015.p 537–545. https://doi.org/10.1109/ICCVW.2015.76.
12. Nagpal, S., Singh, M., Vatsa, M., Singh, R., Noore, A. Expression classification in children using mean supervised deep Boltzmann Machine. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, CVPR 2019. California: 2019.
13. Witherow, M. A., Samad, M. D.,Iftekharuddin, K. M. Transfer learning approach to multiclass classification of child facial expressions. SPIE Optical Engineering + Applications. San Diego, California, United States: 2019. p. 1113911
14. Lopez-Rincon A. Emotion recognition using facial expressions in children using the NAO robot. 2019 International Conference on Electronics, Communications and Computers , CONIELECOMP 2019. Cholula, Mexico:IEEE; 2019.p.146-153. 10.1109/CONIELECOMP.2019.8673111