Yabancı Dilde Okunan Metnin Anlama Durumunun Fonksiyonel Yakın Kızılötesi Spektroskopisi Sinyalleri ve Ardışıl İleri İçsel Mod Fonksiyonu Seçme Yaklaşımı ile Otomatik Belirlenmesi
Abstract
Günümüzde, insanların bir yabancı dili hangi seviyede bildikleri daha çok sınavlarla tespit edilmektedir. Bu çalışmada ise katılımcıların yabancı dil olarak İngilizce dilinde bir metni okurken fonksiyonel yakın kızılötesi spektroskopisi (fYKS) ile kaydedilen nöral aktivite sinyalleri kullanılarak ilgili metni anlayıp anlamadıkları otomatik olarak tespit edilmiştir. Önerilen metotta, ön işleme olarak doğrusal interpolasyon ve uyarlanabilir gürültüyle geliştirilmiş tamamlayıcı topluluk mod ayrıştırması (ICEEMDAN) sinyallere uygulanmıştır. ICEEMDAN ile sinyallerin içsel mod fonksiyon (IMF) bileşenleri türetilmiştir. Öznitelik çıkarma aşamasında ise sembolik toplam yaklaşım metodu ve basıklık, çarpıklık, standart sapma istatistiksel öznitelik kombinasyonu kullanılmıştır. Elde edilen öznitelikler, k-en yakın komşuluk (k-NN) sınıflandırıcısı ile sınıflandırılmıştır. Sınıflandırma sonucunda eğitim veri setinde ardışıl ileri IMF seçme yaklaşımı ile en uygun IMF kombinasyonu belirlenmiştir. Önerilen ardışıl ileri IMF seçim metodu esaslı yaklaşım 16 sağlıklı katılımcı üzerinde uygulanmış ve k-NN sınıflandırıcısı ile test verilerinde %85,37 sınıflandırma doğruluğu elde edilmiştir. Sonuçlar, İngilizce metnin tümünün anlaşılma durumunun en etkin IMF kombinasyonu belirlenen beyin sinyalleri aracılığıyla yüksek doğrulukla anladı/anlamadı olarak sınıflandırılabileceğini göstermektedir.
Keywords
Makine öğrenmesi, fYKS, Okuduğunu anlama, Ardışıl ileri yönlü IMF seçme
Supporting Institution
TÜBİTAK
Project Number
122E102
Ethical Statement
Yapılan çalışmada araştırma ve yayın etiğine uyulmuştur.
Thanks
Gerçekleştirilen çalışma, Türkiye Bilimsel ve Teknik Araştırma Kurumu (TÜBİTAK), 1002 Hızlı Destek Programı kapsamında 122E102 proje numarası ile desteklenmiştir. Ural AKINCIOĞLU, TÜBİTAK 2211-C Yurt İçi Öncelikli Alanlar Doktora Burs Programı bursiyeridir.
References
- Carlson, S.E., Seipel, B., McMaster, K. (2014). Development of a new reading comprehension assessment: identifying comprehension differences among readers. Learning and Individual Differences, 32, 40-53. https://doi.org/10.1016/j.lindif.2014.03.003.
- Cheng, S., Hu, Y., Fan J., Wei, Q. (2020). Reading comprehension based on visualization of eye tracking and EEG data. Science China Information Sciences, 63(11). https://doi.org/10.1007/s11432-019-1466-7.
- Colominas, M.A., Schlotthauer, G., Torres, M.E. (2014). Improved complete ensemble emd: a suitable tool for biomedical signal processing. Biomedical Signal Processing and Control, 14, 19–29. https: //doi.org/10.1016/j.bspc.2014.06.009.
- Frank, S.L., Aumeistere, A. (2023). An eye-tracking-with-EEG coregistration corpus of narrative sentences. Lang Resources and Evaluation. https://doi.org/10.1007/s10579-023-09684-x.
- Kočiský, T., Schwarz, J., Blunsom, P., Dyer, C., Hermann, K.M., Melis, G., Grefenstette, E. (2017). The narrativeQA reading comprehension challenge. Transactions of the Association for Computational Linguistics. 6, 317-328. https://doi.org/10.48550/arXiv.1712.07040.
- Lawrence, R.J., Wiggins, I.M., Anderson, C.A., Davies-Thompson, J., Hartley, D.E. (2018). Cortical correlates of speech intelligibility measured using functional near-infrared spectroscopy (fnirs). Hearing Research, 370, 53–64. https://doi.org/10.1016/j.heares.2018.09.005.
- Lin, J., Keogh, E., Lonardi, S., Chiu, B. (2003). A symbolic representation of time series, with implications for streaming algorithms. In Proceedings of the 8th ACM SIGMOD workshop on Research issues in data mining and knowledge discovery, 2-11. https://doi.org/10.1145/882082.882086.
- Mathur, P., Mittal, T., Manocha, D. (2021). Dynamic graph modelling of simultaneous EEG and eye-tracking data for reading task identification. IEEE International Conference on Acoustics, Speech and Signal Processing, 1250-1254. https://doi.org/10.1109/ICASSP39728.2021.9414343.
- Midha, S., Maior, H.A., Wilson, M.L., Sharples, S. (2021). Measuring mental workload variations in office work tasks using fnirs. International Journal of Human-Computer Studies, 147, 102580. https//doi.org/10.1016/j.ijhcs.2020.102580.
- Omata, M. ve Tanabe, S. (2016). A regression equation to estimate the degree of understanding in a reading using physiological indexes. Proceedings of the 28th Australian Conference on Computer-Human Interaction, 333-337. https://doi.org/10.1145/3010915.3010968.
