Emotion Detection from Facial Expression Using Different Feature Descriptor Methods with Convolutional Neural Networks

Abstract

In this article, image processing techniques to detect facial emotion expressions are examined. Studies done to detect facial expression are given in stages. The success of the convolutional neural networks (CNN) method in emotional expression has been investigated. A set of 981 CK + pictures containing human faces in 7 emotion categories was used. The success rates when using HOG, LBP, Wavelet feature of images and the original state of the images in the data set were compared.

Keywords

• Convolutional Neural Network (CNN)
• Histogram of gradients (HOG)
• Local Binary Pattern (LBP)
• Wavelet Transform
• Facial Emotion Expression Recognition
• CK+datasets

Farklı Öznitelik Tanımlayıcı Yöntemlerini Evrişimsel Sinir Ağları ile Kullanarak Yüz İfadesinden Duygu Tespiti

Abstract

Bu makalede, yüzdeki duygu ifadelerini tespit etmek için imge işleme teknikleri incelenmiştir. Yüzdeki duygu ifadelerini tespit etmek için yapılan çalışmalar aşamalar halinde verilmiştir. Evrişimsel sinir ağları (CNN) yönteminin duygu ifadeleri tespitindeki başarısı ele alınmıştır. 7 duygu katogorisinde, insan yüzleri içeren 981adet imgeden oluşan CK+ imge seti kullanılmıştır. Veri setindeki imgelerin orijinal hali ve HOG, LBP ve İmgelerin dalgacık dönüşümü özniteliklerinin kullanıldığı durumlardaki başarı oranları karşılaştırılmıştır.

Keywords

• Evrişimsel sinir ağları
• gradyanların histogramı
• yerel iki örüntüler
• dalgacık dönüşümü
• yüz duygu ifadeleri tanımlama
• CK+ veriseti

References

1. [1] S. Bayrakdar, D. Akgün, and İ. Yücedağ, “Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması A survey on automatic analysis of facial expressions,” pp. 383–398, 2016.
2. [2] P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., vol. 1, 2001.
3. [3] P. Lucey, J. F. Cohn, T. Kanade, J. Saragih, Z. Ambadar, and I. Matthews, “The extended Cohn-Kanade dataset (CK+): A complete dataset for action unit and emotion-specified expression,” 2010 IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. - Work. CVPRW 2010, no. July, pp. 94–101, 2010.
4. [4] R. C. Gonzalez, “Digital Image Processing Third Edition.”
5. [5] R. O. K. Reddy and C. Raghavendra, “Effective Facial Emotion Recognition using Convolutional Neural Network Algorithm,” Int. J. Recent Technol. Eng., vol. 8, no. 4, pp. 4351–4354, 2019.
6. [6] D. Y. Liliana, “Emotion recognition from facial expression using deep convolutional neural network,” J. Phys. Conf. Ser., vol. 1193, no. 1, 2019.
7. [7] C. R. Harris et al., “Array programming with {NumPy},” Nature, vol. 585, no. 7825, pp. 357–362, 2020.
8. [8] G. Bradski, “The OpenCV Library,” Dr. Dobb’s J. Softw. Tools, 2000.

9. [9] J. D. Hunter, “Matplotlib: A 2D graphics environment,” Comput. Sci. Eng., vol. 9, no. 3, pp. 90–95, 2007.
10. [10] D. E. King, “Dlib-ml: A Machine Learning Toolkit,” J. Mach. Learn. Res., vol. 10, pp. 1755–1758, 2009.
11. [11] F. Pedregosa et al., “Scikit-learn: Machine Learning in Python,” J. Mach. Learn. Res., vol. 12, pp. 2825–2830, 2011.
12. [12] Martin~Abadi et al., “{TensorFlow}: Large-Scale Machine Learning on Heterogeneous Systems.” 2015.
13. [13] F. Chollet, “keras,” GitHub repository, 2015. [Online]. Available: https://github.com/fchollet/keras.