EGA-Net: Analysis of Facial Expression, Age and Gender of Manufacturing Employees with Deep Learning Methods in the Industry 4.0 and Digital Transformation Era

Abstract

Nowadays, analysis of people's facial expressions, age, and gender by computer has become a considerable research topic together with technological advances in the area of human-machine interaction research. To provide this analysis, convolutional neural network algorithms that do not need manual feature extraction are widely used. In this study, two different data sets, CK+ and UTKFace, have been used to analyze the facial expression, age, and gender of manufacturing employees. These data sets have been used in the training of four different novel convolutional neural networks architecture designs. The convolutional neural network architecture design that achieves the best classification performance has been called as EGA-Net. After that, the weight files of the EGA-Net have been used together with the OpenCV library. Thus, facial expression, age, and gender have been analyzed in real-time.

Keywords

• Convolutional neural networks
• EGA-Net
• facial expression analysis
• age analysis
• gender analysis

Project Number

2021-TYL-FEBE-0009

EGA-Net: Endüstri 4.0 ve Dijital Dönüşüm Döneminde Üretim Çalışanlarının Yüz İfadesi, Yaş ve Cinsiyetlerinin Derin Öğrenme Yöntemleri ile Analizi

Abstract

Günümüzde insanların yüz ifadeleri, yaşları ve cinsiyetlerinin bilgisayarla analizi, insan-makine etkileşimi araştırma alanındaki teknolojik gelişmelerle birlikte önemli bir araştırma konusu haline gelmiştir. Bu analizin sağlanması için manuel olarak özellik çıkarımına ihtiyaç duymayan evrişimli sinir ağları algoritmaları sıklıkla kullanılmaktadır. Bu çalışmada, üretim çalışanlarının yüz ifadesi, yaş ve cinsiyetlerinin analiz edilmesi için CK+ ve UTKFace olmak üzere iki farklı veri seti kullanılmıştır. Bu veri setleri dört farklı yeni evrişimli sinir ağları mimari tasarımlarının eğitiminde kullanılmıştır. En iyi sınıflandırma performansını elde eden evrişimli sinir ağları mimari tasarımı EGA-Net olarak isimlendirilmiştir. Sonrasında EGA-Net’e ait ağırlık dosyaları OpenCV kütüphanesi ile birlikte kullanılmıştır. Böylelikle yüz ifadesi, yaş ve cinsiyet gerçek zaman olarak analiz edilmiştir.

Keywords

• Evrişimli sinir ağları
• EGA-Net
• yüz ifadesi analizi
• yaş analizi
• cinsiyet analizi

Supporting Institution

İzmir Katip Çelebi Üniversitesi Bilimsel Araştırma Projeleri Koordinatörlüğü

Project Number

2021-TYL-FEBE-0009

Thanks

Bu çalışma, İzmir Katip Çelebi Üniversitesi Bilimsel Araştırma Projeleri Koordinatörlüğü, Proje no: 2021-TYL-FEBE-0009 tarafından desteklenmiştir.

References

1. Levi G, Hassncer T. (2015) Age and gender classification using convolutional neural networks. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2015-Octob, pp. 34–42.
2. Abdolrashidi A, Minaei M, Azimi E ve Minaee S (2020) Age and Gender Prediction From Face Images Using Attentional Convolutional Network. arXiv preprint arXiv:2010.03791.
3. Özbulak G, Aytar Y ve Ekenel HK. (2016) How transferable are CNN-based features for age and gender classification?. International Conference of the Biometrics Special Interest Group (BIOSIG), pp. 1-6.
4. Söylemez ÖF, Ergen B (2020) Farklı Evrişimsel Sinir Ağı Mimarilerinin Yüz İfade Analizi Alanındaki Başarımlarının İncelenmesi. DÜMF Mühendislik Dergisi 11(1): 123–133.
5. Pitaloka DA, Wulandari A, Basaruddin T ve Liliana DY (2017) Enhancing CNN with Preprocessing Stage in Automatic Emotion Recognition. Procedia Computer Science 116: 523–529.
6. CKPLUS | Kaggle. (n.d.). https://www.kaggle.com/shawon10/ckplus. Accessed June 15, 2021.
7. UTKFace | Kaggle. (n.d.). https://www.kaggle.com/jangedoo/utkface-new. Accessed August 1, 2021.