Attention-Emotion-Fatigue Detection Based On Face Mesh Features Using Deep Learning

Abstract

Extended Abstract Research Problem/Questions – Modern applications in work safety, traffic management, and psychotechnical evaluation demand reliable real‐time assessments of an individual’s cognitive state. Despite significant progress in single-parameter analyses (such as fatigue detection or emotion recognition), a gap remains in developing an integrated system that simultaneously evaluates emotion, fatigue, and attention. This study aims to address this gap. In addition, considering the amount of paper work required in deployment of the classical widespread manual D2 Attention Test [18] in measuring the attention level, this study aims to be one of the first studies to pioneer the automation of this test. Short Literature Review – Earlier studies show that a large portion of occupational and traffic accidents are related to attention deficit [1],[2], fatigue [3],[4] and high emotional state [5]. However, research has typically focused on individual aspects—usually only fatigue [6], [7], only attention [8] or only emotion [9] are analyzed separately. While these methods have yielded promising results, they often neglect the interdependencies between cognitive factors. Recent advances in deep learning and computer vision have enabled more nuanced detection capabilities; however, studies that merge these modalities remain scarce. Methodology – The proposed system is developed in Python by using several specialized libraries. – Fatigue Detection: Mediapipe is used for real-time detection of facial landmarks, enabling the extraction of parameters such as EAR, MAR, MOE (Mouth Opening Extent), and PERCLOS. These parameters are then fed to an LSTM model for fatigue classification. – Emotion Analysis: Deepface, supported by a convolutional neural network (CNN) pretrained on FER-2013 dataset and fine-tuned with domain-specific images, identifies subtle facial expressions. In addition, K-Means clustering algorithm was implemented to cluster the intensity levels (low, medium, and high) within each emotion class. – Attention Measurement: The system incorporates the D2 attention test framework, wherein eye-tracking data obtained via Mediapipe is used to assess fixation durations and detect attention lapses. – User Interface and Calibration: A user-friendly interface is developed with PyQt5. A calibration phase establishes individual baseline metrics to account for inter-subject variability. The integrated approach employs feature extraction, time series analysis, and clustering techniques (e.g., K-means) to quantify and categorize the cognitive states reliably. Results and Conclusions – Experimental evaluations demonstrate that the integrated system achieves approximately 94% accuracy in fatigue detection. This result offers a practical and effective solution for real-time applications with its high accuracy, low computational cost and person-independent generalization ability. On the other hand, attention measurement module shows stable performance and high correlation with the classical manual deployment scores. This result is promising especially considering that this is one of the first studies to pioneer the automation of this test. The emotion analysis module, optimized through hyperparameter tuning and CNN architecture search, reaches a mean average precision (mAP) close to 88%. These results validate that a multi-faceted approach not only enhances detection accuracy but also provides a comprehensive analysis of an individual’s cognitive state. The findings show significant potential for deploying such systems in environments where real-time monitoring is critical for safety and performance improvement.

Keywords

• Fatigue Detection
• Emotion Analysis
• Attention Measurement
• Deep Learning
• Computer Vision

Face Mesh Özelliklerine Dayalı Derin Öğrenme ile Dikkat-Duygu-Yorgunluk Tespiti

Abstract

Bu çalışma, bireylerin anlık dikkat düzeyi, duygu durumu ve yorgunluk seviyesini entegre bir şekilde analiz eden yapay zeka tabanlı bir sistem geliştirmeyi amaçlamaktadır. Python diliyle geliştirilen sistemde, yüz ifadeleri ve göz hareketleri MediaPipe, DeepFace ve OpenCV gibi kütüphanelerle analiz edilerek; yorgunluk, dikkat ve duygu durumuna dair ölçümler elde edilmiştir. Kullanıcı dostu bir arayüz PyQt5 ile tasarlanmış, böylelikle tüm analizlerin arka planda gerçek zamanlı olarak gerçekleştirilmesi sağlanmıştır. Yorgunluk tespiti için EAR(Eye Aspect Ratio), MAR (Mouth Aspect Ratio), MOE (Mouth Opening Extent), PERCLOS (Percentage of Eye Closure) ve Blink Rate (göz kırpma oranı) gibi metrikler, LSTM tabanlı bir modelle analiz edilmiştir. Dikkat seviyesi, dijitalleştirilmiş D2 Dikkat Testi üzerinden göz takibiyle ölçülmüş ve geleneksel testle yüksek korelasyon göstermiştir. Böylelikle literatürde yaygın olarak kullanılan D2 Dikkat Testi'nin göz takip teknolojileriyle dijital ortama aktarılmasının mümkün olduğu gösterilmiştir. Bu yönüyle, dikkat testlerinin dijitalleşmesine öncülük eden ilk uygulamalardan biri olma özelliği taşımaktadır. Duygu analizi ise CNN ve K-Means kümeleme yöntemleriyle gerçekleştirilmiş, ve duygu sınıfının yanında duygu yoğunluğunun da belirlenebilmesi sağlanmıştır. Gerçekleştirilen deneylerde sistemin yorgunluk tespitinde %94, duygu analizinde %88 doğruluk oranı yakaladığı ve dikkat ölçümünde güvenilir sonuçlar verdiği görülmüştür. Çalışma, geleneksel tek yönlü analizlerin ötesine geçerek, entegre ve gerçek zamanlı bir analiz imkanı sunmakta ve dikkat testlerinin otomasyonu konusunda literatüre katkı sağlamaktadır.

Keywords

• Yorgunluk Tespiti
• Duygu Analizi
• Otomatik Dikkat Ölçümü
• Python
• Derin Öğrenme
• Bilgisayarlı Görü

References

1. [1] Eser, A. (2015). Güncel iş kazaları verilerinin istatistiki analizi. Çukurova Üniversitesi Mühendislik-Mimarlık Fakültesi Dergisi, 30(2), 227-242.
2. [2] Eker, K. (2016). Çalışanlarda Dikkat Eksikliği Bozukluğunun İş Kazası, İş Performansı ve İşe Devamsızlık Oranı Üzerine Etkisi, [Yüksek Lisans Tezi, Sosyal Bilimler Enstitüsü, Bahçeşehir Üniversitesi].
3. [3] Çavdar, U., Manyaslı, M., Akkaya, E., Sevener, D., & Tüfekçi, Z. (2022). Yaşanan iş kazalarının kaza saatlerine ve cinsiyete göre istatistiki olarak değerlendirilmesi ve yorumlanması. International Journal of Engineering Research and Development, 14(1), 360-368.
4. [4] Gnardellis, C., Tzamalouka, G., Papadakaki, M., & Chliaoutakis, J. E. (2008). An investigation of the effect of sleepiness, drowsy driving, and lifestyle on vehicle crashes. Transportation research part F: traffic psychology and behaviour, 11(4), 270-281.
5. [5] Ersoy, A. D. (2016). Stresli kişilik yapısı ve iş kazasına yatkınlığı arasındaki ilişki. [Yüksek Lisans Tezi, Sosyal Bilimler Enstitüsü, İstanbul Ticaret Üniversitesi].
6. [6] Peker, N. Y. (2022). Sürücülerde uykululuk hali tespit sistemi tasarımı ve uygulaması, [Yüksek Lisans Tezi, Fen Bilimleri Enstitüsü, Sakarya Üniversitesi].
7. [7] Yapıcı, A., Üstün, R., & Özcan, H. (2024). Çalışanın İş Sağlığı ve Güvenliği için Uygunluk Tespiti: Görüntü ve Ses İşleme ile Yorgunluk Tespiti ve Kişiye Özel Raporlama. International Journal of Advances in Engineering and Pure Sciences, 36(3), 200-210.
8. [8] Güven, A., Dolu, N., Batbat, T., & Demir, M. (2015). Farklı Dikkat Durumlarının Uyarılmış Potansiyeller Üzerine Etkisinin P100 Dalgası ile Analizi Analysis of the Effect of Different Attention Types on Evoked Potentials by P100 Wave. Tıptekno, 15, 15-18.

9. [9] Büyükyıldız, C., Sarıtas, I., & Yaşar, A. (2023). Classification of Emotion with Audio Analysis. Yüzüncü Yıl Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 28(2), 467-481.
10. [10] Yanç, İ., İpek, A., Yilmazyildiz Kayaarma, S. (2024). Facial Emotion Recognition for Imitation in Human-Robot Interaction. In 2024 9th International Conference on Computer Science and Engineering (UBMK) (pp. 654-659). IEEE.
11. [11] Yaycı, L. (2013). D2 dikkat testinin geçerlik ve güvenirlik çalışması. Kalem Uluslararası Eğitim ve İnsan Bilimleri Dergisi, 3, 43-80.
12. [12] Vural, R. A., Sert, M. Y., & Karaköse, B. (2018). Gerçek Zamanlı Sürücü Yorgunluk Tespit Sistemi. Marmara Fen Bilimleri Dergisi, 30(3), 249-259.
13. [13] Ghoddoosian, R., Galib, M., & Athitsos, V. (2019). A realistic dataset and baseline temporal model for early drowsiness detection. In Proceedings of the ieee/cvf conference on computer vision and pattern recognition workshops (pp. 0-0).
14. [14] Agarwal, S. [Samradh007]. (n.d.). sleeplessAcademy [Source code]. GitHub. Erişim 20 Nisan 2025, https://github.com/Samradh007/sleeplessAcademy
15. [15] Quddus, A., Shahidi Zandi, A., Prest, L., & Comeau, F. J. E. (2021). Using long short term memory and convolutional neural networks for driver drowsiness detection. Accident; analysis and prevention, 156, 106107. https://doi.org/10.1016/j.aap.2021.106107
16. [16] Sarıman, G. (2011). Veri madenciliğinde kümeleme teknikleri üzerine bir çalışma: k-means ve k-medoids kümeleme algoritmalarının karşılaştırılması. Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 15(3), 192-202.
17. [17] Recker, L., & Poth, C. H. (2023). Test-retest reliability of eye tracking measures in a computerized Trail Making Test. Journal of vision, 23(8), 15. https://doi.org/10.1167/jov.23.8.15
18. [18] Baştuğ, M., Keskin, K., & Şimşek, İ. (2019). Sesli ve Sessiz Okumada Göz Hareketleri: Bir Göz İzleme (Eye Tracking) Çalışması. Eskişehir Osmangazi Üniversitesi Sosyal Bilimler Dergisi, 20, 327-337.
19. [19] Brickenkamp, R., & Zilmer, E. (1998). d2 Test of Attention (d2) [Database record]. APA PsycTests. https://doi.org/10.1037/t03299-000
20. [20] Soukupova, T., & Cech, J. (2016, February). Eye blink detection using facial landmarks. In 21st computer vision winter workshop, Rimske Toplice, Slovenia (Vol. 2, p. 4).
21. [21] Tüfekçi, M., & Karpat, F. (2019, July). Derin Öğrenme Mimarilerinden Konvolüsyonel Sinir Ağları (CNN) Üzerinde Görüntü İşleme-Sınıflandırma Kabiliyetininin Arttırılmasına Yönelik Yapılan Çalışmaların İncelenmesi. In International Conference on Human-Computer Interaction, Optimization and Robotic Applications (pp. 28-31).
22. [22] Zahara, L., Musa, P., Wibowo, E. P., Karim, I., & Musa, S. B. (2020, November). The facial emotion recognition (FER-2013) dataset for prediction system of micro-expressions face using the convolutional neural network (CNN) algorithm based Raspberry Pi. In 2020 Fifth international conference on informatics and computing (ICIC) (pp. 1-9). IEEE.
23. [23] Chołoniewski, J., Chmiel, A., Sienkiewicz, J., Hołyst, J. A., Küster, D., & Kappas, A. (2016). Temporal Taylor’s scaling of facial electromyography and electrodermal activity in the course of emotional stimulation. Chaos, Solitons & Fractals, 90, 91–100. https://doi.org/10.1016/j.chaos.2016.04.023
24. [24] Essahraui, S., Lamaakal, I., El Hamly, I., Maleh, Y., Ouahbi, I., El Makkaoui, K., Filali Bouami, M., Pławiak, P., Alfarraj, O., & Abd El-Latif, A. A. (2025). Real-Time Driver Drowsiness Detection Using Facial Analysis and Machine Learning Techniques. Sensors (Basel, Switzerland), 25(3), 812. https://doi.org/10.3390/s25030812
25. [25] Latreche, I., Slatnia, S., Kazar, O., Barka, E., & Harous, S. (2024). A Review on Deep Learning Techniques for EEG-Based Driver Drowsiness detection systems. Informatica, 48(3).
26. [26] Bates, M. E., & Lemay, E. P., Jr (2004). The d2 Test of attention: construct validity and extensions in scoring techniques. Journal of the International Neuropsychological Society : JINS, 10(3), 392–400. https://doi.org/10.1017/S135561770410307X
27. [27] Lee, P., Lu, W. S., Liu, C. H., Lin, H. Y., & Hsieh, C. L. (2018). Test-Retest Reliability and Minimal Detectable Change of the D2 Test of Attention in Patients with Schizophrenia. Archives of clinical neuropsychology : the official journal of the National Academy of Neuropsychologists, 33(8), 1060–1068. https://doi.org/10.1093/arclin/acx123
28. [28] Lamichhane, A., & Karn, G. (2024). CNN-BiLSTM based Facial Emotion Recognition. International Journal on Engineering Technology, 2(1), 227–236. https://doi.org/10.3126/injet.v2i1.72579