HorrorFace: Deep Learning-based Detection and Classification of Scary Faces

Year 2021, Volume: 14 Issue: 4, 435 - 443, 31.10.2021

Betül Ay

Abstract

Scary faces negatively affect emotional memory development, especially in healthy adolescents and children, with the brain's strong amygdala response. In today's world where internet usage is increasing exponentially and uncontrolled visual materials proliferate, automatic filtering of faces that pose a risk of fear has become an important issue. In this study, we are looking for the answer to the question of whether deep learning can learn fear; we aim to build a binary classifier that distinguish normal faces from horror faces. As far as we know in the literature, there is no open-source dataset related this domain. We introduce a new and publicly dataset that we call HorrorFace. HorrorFace dataset consists of 19,600 face images labeled with two classes, namely horror and normal. To prove the accuracy, reliability, and generalization ability of the proposed dataset, we are harnessing the power of the transfer learning technique using convolutional neural networks (CNN), which have proven successful in various face classification tasks. Experimental results show that an effective and robust recognition performance has been achieved with an accuracy of 99.30% carried out by the best deep learning model.

Keywords

classification of scary faces, deep learning, HorrorFace dataset

HorrorFace: Derin Öğrenme Tabanlı Korkutucu Yüzlerin Tespiti ve Sınıflandırılması

Abstract

Korkutucu yüzler, özellikle sağlıklı ergen ve çocuklarda beynin güçlü amigdala tepkisi ile birlikte duygusal hafıza gelişimini olumsuz etkilemektedir. Internet kullanımının katlanarak arttığı ve denetimsiz görsel materyallerin hızla çoğaldığı günümüzde, korku riski oluşturan yüzlerin otomatik filtrelenmesi önemli bir problem olmuştur. Bu çalışmada derin öğrenme korkuyu öğrenebilir mi sorusunun cevabını arıyoruz; normal yüzleri korkunç yüzlerden ayıran bir ikili sınıflandırıcı inşa etmeyi hedefliyoruz. Literatürde bildiğimiz kadarıyla, açık kaynaklı bir veri kümesi olmadığı için HorrorFace adını verdiğimiz yeni ve erişilebilir bir veri kümesi sunuyoruz. HorrorFace veri seti korkutucu ve normal olmak üzere iki sınıfla etiketlenmiş 19,600 yüz görüntüsünden oluşmaktadır. Önerilen veri setinin doğruluğunu, güvenilirliğini ve genelleme yeteneğini kanıtlamak için, çeşitli yüz sınıflandırma görevlerinde başarısını kanıtlamış olan omurga konvolüsyonel sinir ağlarını kullanarak öğrenme aktarımı yönteminin gücünden faydalanıyoruz. Deneysel sonuçlar, en iyi derin öğrenme modelinin gerçekleştirdiği % 99.30 doğrulukla etkili ve sağlam bir tanıma performansına ulaşıldığını göstermektedir.

Keywords

derin öğrenme, HorrorFace veri seti, korkutucu yüzlerin sınıflandırılması

References

• T. Dalgleish, “The emotional brain”, Nature Reviews Neuroscience, 5(7), 583–589, 2004.
• J. S. Morris et al., “A differential neural response in the human amygdala to fearful and happy facial expressions”, Nature, 383 (6603), 812–815, 1996.
• P. J. Whalen, S. L. Rauch, N. L. Etcoff, S. C. McInerney, M. B. Lee, and M. A. Jenike, “Masked presentations of emotional facial expressions modulate amygdala activity without explicit knowledge”, Journal of Neuroscience, 18(1), 411–418, 1998.
• K. M. Thomas et al., “Amygdala response to fearful faces in anxious and depressed children”, Arch. Gen. Psychiatry, 58(11), 1057–1063, 2001.
• X. Liu et al., “A case for a coordinated internet video control plane”, ACM SIGCOMM Conference on Applications, Technologies, Architectures, And Protocols For Computer Communication, 359–370, 2012.
• Internet: http://www.statista.com/statistics/259477/hours-of-video-uploaded-to-youtube-every-minute, 20.01.2021.
• Y.-L. Tian, T. Kanade, and J. F. Cohn, “Facial expression analysis”, Handbook Of Face Recognition, Springer, 247–275, 2005.
• S. Mete, O. Çakır, O. Bayat, D.G. Duru, A.D. Duru, "Gözbebeği Hareketleri Temelli Duygu Durumu Sınıflandırılması", Bilişim Teknolojileri Dergisi, 13(2), 137-144, 2020.
• H.-W. Ng, V. D. Nguyen, V. Vonikakis, and S. Winkler, “Deep learning for emotion recognition on small datasets using transfer learning”, ACM International Conference On Multimodal Interaction, 443–449, 2015.
• O. Arriaga, M. Valdenegro-Toro, and P. Plöger, “Real-time convolutional neural networks for emotion and gender classification", arXiv Prepr. arXiv1710.07557, 2017.
• M. Talo, B. Ay, S. Makinist, and G. Aydin, “Bigailab-4race-50K: Race Classification with a New Benchmark Dataset”, International Conference on Artificial Intelligence and Data Processing (IDAP), 1–4, 2018.
• A. A. Mallouh, Z. Qawaqneh, and B. D. Barkana, “Utilizing CNNs and transfer learning of pre-trained models for age range classification from unconstrained face images”, Image Vis. Comput., 88, 41–51, 2019.
• C. Nagpal and S. R. Dubey, “A performance evaluation of convolutional neural networks for face anti spoofing”, International Joint Conference on Neural Networks (IJCNN), 1–8, 2019.
• G. J. Chowdary, N. S. Punn, S. K. Sonbhadra, and S. Agarwal, “Face mask detection using transfer learning of inceptionv3”, International Conference on Big Data Analytics, 81–90, 2020.
• A. Yadav, D.K. Vishwakarma, "A unified framework of deep networks for genre classification using movie trailer", Applied Soft Computing, 96, 2020, https://doi.org/10.1016/j.asoc.2020.106624.
• P. G. Shambharkar, A. Anand and A. Kumar, "A Survey Paper on Movie Trailer Genre Detection", 2020 International Conference on Computing and Data Science (CDS), 2020, 238-244, doi: 10.1109/CDS49703.2020.00055.
• P.G. Shambharkar, M.N. Doja, “Movie trailer classification using deer hunting optimization based deep convolutional neural network in video sequences”, Multimedia Tools and Applications, 79, 21197–21222, 2020.
• Internet: Nightmare Machine, http://nightmare.mit.edu/, 15.12.2020.
• O. Russakovsky et al., “Imagenet large scale visual recognition challenge”, Int. J. Comput. Vis., 115(3), 211-252, 2015.
• A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutional neural networks”, Commun. ACM, 60(6), 84–90, 2017.
• K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition”, arXiv Prepr. 1409.1556, 2014.
• C. Szegedy et al., “Going deeper with convolutions”, IEEE Conference on Computer Vision And Pattern Recognition, 1-9, 2015.
• K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition”, IEEE Conference on Computer Vision And Pattern Recognition, 770-778, 2016.
• G. Huang, Z. Liu, L. Van Der Maaten, and K. Q. Weinberger, “Densely connected convolutional networks”, IEEE Conference on Computer Vision And Pattern Recognition, 4700–4708, 2017.
• B. Ay Karakus, Derin ögrenme ve büyük veri yaklasimlari ile metin analizi, Doktora Tezi, Fırat Üniversitesi, 2018.
• Internet: B. Ay, BVYZLab, http://buyukveri.firat.edu.tr/veri-setleri/, 01.02.2021.
• Internet: Tensorflow Hub, https://tfhub.dev/, 20.12. 2021.
• Internet: Motion Picture Content System, Wikipedia Article, https://www.wikiwand.com/en/Motion_picture_content_rating_system, 20.10.2021. .