Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması

Year 2023, Volume: 38 Issue: 2, 1027 - 1040, 07.10.2022

Şeniz Harputlu Aksu Erman Çakıt

https://doi.org/10.17341/gazimmfd.1049979

Abstract

Bu çalışmada, göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanması amaçlanmıştır. Dört katılımcının (iki kadın ve iki erkek), farklı düzeylerde zihinsel iş yükünün ölçülebilmesi için N-geri hafıza görevi ve NASA-Task Load Index (TLX) öznel değerlendirme ölçeği kullanılmıştır. Bağımsız değişkenler olarak 27 göz izleme parametresi seçilmiş ve çıktı değişkeni N-geri hafıza zorluk seviyesi sınıflandırılmıştır. Bu deneyler sonucunda, bu çalışmada ele alınan hemen hemen tüm göz izleme parametrelerinin hem ağırlıklı NASA-TLX toplam skoru hem de N-geri hafıza görevi zorluk seviyesi ile anlamlı olarak ilişkili olduğu ortaya çıkmıştır. Görev zorluğu arttıkça göz bebeği boyutu, seğirme sayısı, göz kırpma sayısı ve göz kırpma süresi artarken sabitleme süresi ile ilgili değişkenlerin ise azaldığı gözlenmiştir. İki sınıflı bir sınıflandırma problemi için elde edilen sonuçlar incelendiğinde, girdi olarak 27 göz izleme özelliği ve LightGBM algoritması ile % 84 doğruluğa ulaşılmıştır. Dört sınıflı bir sınıflandırma problemi kapsamında veri kümesinin karmaşıklığının artmasıyla ancak %65 doğruluğa ulaşılabilmiştir. Girdi değişkenlerinin çıktı değişkeninin belirlenmesine ne derece katkıda bulunduğunu belirlemek için gradyan artırma makineleri (GBM) algoritması kullanılarak bir duyarlılık analizi yapılmış ve sol göz bebeği çapı ortalamasının N-geri hafıza zorluk seviyesinin sınıflandırılmasında en etkili parametre olduğu görülmüştür. Çalışma sonuçları, göz izleme ölçümlerinin zihinsel iş yükünün sınıflandırılmasında önemli bir rol oynadığını göstermektedir.

Keywords

Zihinsel iş yükü, Göz izleme, Makine Öğrenmesi

Supporting Institution

Gazi Üniversitesi - Bilimsel Araştırma Projesi

Project Number

6483

Thanks

Gazi Üniversitesi Bilimsel Araştırma Projeleri Birimine bu çalışmayı destekledikleri için teşekkür ederiz.

References

• Bommer S. & Fendley M., A theoretical framework for evaluating mental workload resources in human systems design for manufacturing operations, International Journal of Industrial Ergonomics, doi: 63. 10.1016/j.ergon.2016.10.007, 2016.
• Galy E., Cariou M., Mélan C., What is the relationship between mental workload factors and cognitive load types?, International Journal of Psychophysiology, 83(3), 269-275, 2012.
• DiDomenico A. & Nussbaum M., Effects of different physical workload parameters on mental workload and performance, International Journal of Industrial Ergonomics, 41(3), 255-260, 2011.
• Rusnock C. & Borghetti B., McQuaid, I., Objective-Analytical Measures of Workload – the Third Pillar of Workload Triangulation?, 124-135, 2015.
• Puma S., Matton N., Paubel P.V., Raufaste E., Yagoubi R., Using theta and alpha band power to assess cognitive workload in multitasking environments, International journal of psychophysiology : official journal of the International Organization of Psychophysiology, 123, doi:10.1016/j.ijpsycho.2017.10.004, 2017.
• Di Stasi L. L., Antolí A., Gea M., Cañas J. J., A neuroergonomic approach to evaluating mental workload in hypermedia interactions, International Journal of Industrial Ergonomics, 41(3), 298-304, 2011.
• Tjolleng A., Jung K., Hong W., Lee W., Lee B., You H., Son H., Park S., Classification of a Driver's cognitive workload levels using artificial neural network on ECG signals, Applied Ergonomics, 59, 326-332, 2017.
• Dirican A.C. & Göktürk M., Psychophysiological measures of human cognitive states applied in human computer interaction, Procedia Computer Science, 3, 1361-1367, 2011.
• Chen S. & Epps J., Automatic classification of eye activity for cognitive load measurement with emotion interference, Computer Methods and Programs in Biomedicine, 110(2), 111-124, 2013.
• Borys M., Plechawska-Wojcik M., Wawrzyk M., Wesołowska K.., Classifying Cognitive Workload Using Eye Activity and EEG Features in Arithmetic Tasks, doi: 10.1007/978-3-319-67642-5_8, 2017.
• Liu Y., Ayaz H. , Shewokis P. A., Multisubject “Learning” for Mental Workload Classification Using Concurrent EEG, fNIRS, and Physiological Measures. Frontiers in Human Neuroscience, 11(389), 2017.
• Choi M. K., Lee S. M., Ha J. S., Seong P. H., Development of an EEG-based workload measurement method in nuclear power plants, Annals of Nuclear Energy, Volume 111, 595-607, 2018.
• Hart S. G. & Staveland L. E. Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research. http://wayback.archive-it.org/1792/20100206083836/http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/20000004342_1999205624.pdf. Erişim tarihi Eylül 15, 2021.
• Nakayama M., Takahashi K., Shimizu Y., The act of task difficulty and eye-movement frequency for the 'Oculo-motor indices', 37-42, 2002.
• Benedetto S., Pedrotti M., Minin L., Baccino T., Re A., Montanari R., Driver workload and eye blink duration. Transportation Research Part F: Traffic Psychology and Behaviour, 14, 199-208, 2011.
• Gao Q., Wang Y., Song F., Li Z., Dong X., Mental workload measurement for emergency operating procedures in digital nuclear power plants, Ergonomics, 56, 1070-1085, 2013.
• Tran C., Yan S., Habiyaremye J., Wei Y., Predicting Driver’s Work Performance in Driving Simulator Based on Physiological Indices, 150-162, 2017.
• Wanyan X., Zhuang D., Lin Y., Xiao X., Song J.W., Influence of mental workload on detecting information varieties revealed by mismatch negativity during flight simulation, International Journal of Industrial Ergonomics, 64, 1-7, 2018.
• Hampson R., Opris I., Deadwyler S., Neural Correlates of Fast Pupil Dilation in Nonhuman Primates: Relation to Behavioral Performance and Cognitive Workload, Behavioural brain research, 212, 1-11, 2010.
• Reiner M. & Gelfeld T.M., Estimating mental workload through event-related fluctuations of pupil area during a task in a virtual world, International Journal of Psychophysiology, 93(1), 38-44, 2014.
• Huang W., Xu Y., Hildebrandt M., Lau N., Comparing Eye-Gaze Metrics of Mental Workload in Monitoring Process Plants, 2019.
• Marchitto M., Benedetto S., Baccino T., Cañas J., Air traffic control: Ocular metrics reflect cognitive complexity, International Journal of Industrial Ergonomics, 54, 120-130, 2016.
• Evans D.C. & Fendley M., A multi-measure approach for connecting cognitive workload and automation, International Journal of Human-Computer Studies, 97, 182-189, 2017.
• Keskin M.V.. (2020) Python ile Makine Öğrenmesi (Machine Learning). [Çevrimiçi Eğitim] https://www.udemy.com/course/python-ile-makine-ogrenmesi/. Erişim tarihi Nisan 15, 2021.
• Wojcik M., Tokovarov M., Kaczorowska M., Zapała D., A Three-Class Classification of Cognitive Workload Based on EEG Spectral Data, Applied Sciences, 9, 2019.
• Vapnik N.V. & Chervonenkis A.Y., The necessary and sufficient conditions for consistency in the empirical risk minimization method. Pattern Recognition and Image Analysis, 1(3), 283-305, 1991.
• Benerradi J., Maior H., Marinescu A., Clos J., Wilson M., Exploring Machine Learning Approaches for Classifying Mental Workload using fNIRS Data from HCI Tasks, HTTF 2019: Proceedings of the Halfway to the Future Symposium 2019, 1-11, 2019.
• Kaczorowska M., Wawrzyk M., Plechawska-Wojcik M., Binary Classification of Cognitive Workload Levels with Oculography Features, doi: 10.1007/978-3-030-47679-3_21, 2020.
• Shahid U. & Rasool S., EEG Based Mental Workload Assessment using Machine Learning, 2020.
• Wu Y., Liu Z., Jia M., Congchi T., Yan S., Using Artificial Neural Networks for Predicting Mental Workload in Nuclear Power Plants Based on Eye Tracking, Nuclear Technology, 206, 1-13, doi: 10.1080/00295450.2019.1620055, 2019.
• Yan S., Wei Y., Tran C.C., Evaluation and prediction mental workload in user interface of maritime operations using eye response, International Journal of Industrial Ergonomics, 71, 117-127, 2019.
• Duru, A., Determination of Increased Mental Workload Condition From EEG by the Use of Classification Techniques, International Journal of Advances in Engineering and Pure Sciences, 31(1), 47-52. doi: 10.7240/jeps.459420, 2019.
• Smith A., Borghetti B., Rusnock C., Improving Model Cross-Applicability for Operator Workload Estimation, Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 59, 681-685, doi: 10.1177/1541931215591148, 2015.
• Borghetti B.J., Giametta J.J., Rusnock C.F., Assessing Continuous Operator Workload with a Hybrid Scaffolded Neuroergonomic Modeling Approach, Human Factors, 59(1), 134-146, 2017.
• Friedman J., Greedy function approximation: A gradient boosting machine, Annals of Statistics, 29, 1189-1232, 2001.
• Muratlar E. R.. Gradient Boosted Regresyon Ağaçları. https://www.veribilimiokulu.com/gradient-boosted-regresyon-agaclari/. Yayın tarihi Ocak 24, 2020. Erişim tarihi Mayıs 10, 2021.
• Chen T. & Guestrin C., XGBoost: A Scalable Tree Boosting System, 785-794, doi: 10.1145/2939672.2939785, 2016.
• Üstüner M., Abdikan S., Bilgin G., Balik Sanli F., Hafif Gradyan Artırma Makineleri ile Tarımsal Ürünlerin Sınıflandırılması, 2020.
• Wang C. & Guo J., A data-driven framework for learners’ cognitive load detection using ECG-PPG physiological feature fusion and XGBoost classification, Procedia Computer Science, 147, 338-348. doi:10.1016/j.procs.2019.01.234, 2019.
• Ke G., Meng Q., Finley T., Wang T., Chen W., Ma W., Ye Q., Liu T., LightGBM: a highly efficient gradient boosting decision tree, 31st International Conference on Neural Information Processing Systems (NIPS'17), Curran Associates Inc., Red Hook, NY, USA, 3149–3157, 2017.
• Zeng H., Yang C., Zhang H., Wu Z., Zhang J., Dai G,, Babiloni F., Kong W., A LightGBM-Based EEG Analysis Method for Driver Mental States Classification, Comput Intell Neurosci., doi: 10.1155/2019/3761203, 2019.
• Millisecond Software. Inquisit by Millisecond. https://www.millisecond.com/. Erişim tarihi Eylül 15, 2021.
• Ke Y., Qi H., Zhang L., Chen S., Jiao X., Zhou P., Zhao X., Wan B., Ming D., Towards an effective cross-task mental workload recognition model using electroencephalography based on feature selection and support vector machine regression, Int. J. Psychophysiol., 98 (2), 157–166, 2015.
• Tobii X2-60 Eye Tracker [Ekipman]. (2015). Stockholm, Sweden: Tobii Pro.
• Mark J., Curtin A., Kraft A., Sands T., Casebeer W., Ziegler M., Ayaz H, Eye Tracking-Based Workload and Performance Assessment for Skill Acquisition, doi: 10.1007/978-3-030-20473-0_14, 2020.
• Borys M., Tokovarov M., Wawrzyk M., Wesolowska K., Plechawska-Wojcik M., Dmytruk R., Kaczorowska M., An analysis of eye-tracking and electroencephalography data for cognitive load measurement during arithmetic tasks, doi: 287-292. 10.1109/ATEE.2017.7905130, 2017.
• Ahlstrom U. & Friedman-Berg F., Using Eye Movement Activity as A Correlate of Cognitive Workload, International Journal of Industrial Ergonomics, 36, 623-636, doi: 10.1016/j.ergon.2006.04.002, 2006.
• Naveed S., Sikander B., Khiyal M., Eye Tracking System with Blink Detection, Journal of Computing, 4, 50-60, doi:10.13140/2.1.2152.0007, 2012.
• Johns M.W., The amplitude velocity ratio of blinks: A new method for monitoring drowsiness, Sleep, 26, A51–2, 2003.
• Budak H., Özellik Seçim Yöntemleri ve Yeni Bir Yaklaşım, Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 22, 10, doi:10.19113/sdufbed.01653, 2018.
• Kocakafa T., Özellik Oluşumu ve Özellik Seçimi (Feature Selection)-3. https://www.veribilimiokulu.com/ozellik-olusumu-ve-ozellik-secimifeature-selection-3/ Yayın tarihi Ocak 10, 2021. Erişim tarihi Mayıs 24, 2021.
• Python (Sürüm 3.8) [Yazılım]. Tedarik edilebileceği adres: www.anaconda.com