EEG tabanlı duygu tanımanın iyileştirilmesi: MIL ile zenginleştirilmiş XGBoost sınıflandırıcılarının çoklu veri seti analizi

Abstract

Background: EEG tabanlı duygu tanıma, sinirsel tepkileri yüksek zamansal çözünürlükle yakalayabilmesi nedeniyle duygusal bilişim alanında giderek artan ilgi görmektedir. Ancak EEG sinyalleri doğası gereği gürültülü ve durağan olmayan yapıdadır ve bir deneme içindeki birçok zamansal segment altta yatan duygusal durumu yansıtmayabilir. Geleneksel işlem hatları, tüm segmentlerin deneme etiketine eşit katkı sağladığını varsayar; bu durum, ilgisiz veya geçiş niteliğindeki segmentlerin varlığında dayanıklılığı azaltır. New Method: Bu çalışmada, EEG tabanlı duygu tanıma için eXtreme Gradient Boosting (XGBoost) ile entegre edilmiş bir Çoklu Örnek Öğrenme (Multiple Instance Learning - MIL) çerçevesi önerilmektedir. Her deneme, zamansal segment örneklerinden oluşan bir “torba” (bag) olarak ele alınmakta ve duygusal etiket torba seviyesinde atanmaktadır. Eğitim sırasında torba etiketleri, XGBoost ile örnek düzeyinde sınıflandırma yapılabilmesi için örneklere aktarılmaktadır. Çıkarım aşamasında ise örnek düzeyindeki olasılıklar ortalama havuzlama (mean pooling) ile birleştirilerek torba düzeyinde tahminler elde edilmekte, böylece modelin bilgilendirici sinyal parçalarını vurgulaması ve gürültüyü bastırması sağlanmaktadır. Results: Önerilen çerçeve, DEAP ve VREMO olmak üzere iki kıyaslama veri seti üzerinde; ön işlenmiş zaman serisi, zaman alanı, frekans alanı, zaman-frekans, ayrıştırma tabanlı ve uzamsal özellikler dahil olmak üzere çoklu özellik temsilleri kullanılarak değerlendirilmiştir. Comparison with Existing Methods: MIL-XGBoost yöntemi, tüm özellik alanları ve sınıflandırma görevleri boyunca standart XGBoost yöntemini tutarlı biçimde geride bırakmış; DEAP veri setinde ikili duygu sınıflandırması için %94–95’e varan doğruluk oranlarına ulaşmış ve VREMO veri setinde rekabetçi sonuçlar elde etmiştir. Bu başarı, sentetik veri artırımı veya derin sinir ağı mimarileri gerektirmeden sağlanmıştır. Conclusion: MIL’in gradyan artırmalı ağaç modelleriyle entegrasyonu, zayıf denetimli EEG tabanlı duygu tanıma için verimli ve sağlam bir alternatif sunmakta ve gerçekçi etiketleme varsayımları altında tutarlı performans artışları sağlamaktadır.

Keywords

• EEG tabanlı duygu tanıma
• Çoklu Örnek Öğrenme
• XGBoost
• Sanal Gerçeklik
• Zayıf Denetimli Öğrenme

Boosting EEG emotion recognition: A multi-dataset study of MIL-augmented XGBoost classifiers

Abstract

Background: EEG-based emotion recognition has attracted growing interest in affective computing due to its high temporal resolution in capturing neural responses. However, EEG signals are inherently noisy and non-stationary, and many temporal segments within a trial may not reflect the underlying emotional state. Conventional pipelines assume all segments contribute equally to the trial label, reducing robustness when irrelevant or transitional segments are present. New Method: This study proposes a Multiple Instance Learning (MIL) framework integrated with eXtreme Gradient Boosting (XGBoost) for EEG emotion recognition. Each trial is treated as a bag of temporal segment instances, with the emotional label assigned at the bag level. During training, bag labels are propagated to instances for instance-level classification with XGBoost. During inference, instance-level probabilities are aggregated via mean pooling to yield bag-level predictions, enabling the model to emphasize informative signal fragments while suppressing noise. Results: The framework is evaluated on two benchmark datasets, DEAP and VREMO, across multiple feature representations including preprocessed time-series, time-domain, frequency-domain, time-frequency, decomposition-based, and spatial features. Comparison with Existing Methods: MIL-XGBoost consistently outperforms standard XGBoost across all feature domains and classification tasks, achieving up to 94–95% accuracy for binary emotion classification on DEAP and competitive results on VREMO, without requiring synthetic augmentation or deep neural architectures. Conclusion: Integrating MIL with gradient-boosted tree models offers an efficient and robust alternative for weakly supervised EEG emotion recognition, demonstrating consistent gains under realistic labeling assumptions.

Keywords

• EEG emotion recognition
• Multiple Instance Learning
• XGBoost
• Virtual Reality
• Weakly Supervised Learning

References

1. [1] R. V. Aranha, C. G. Corrêa, and F. L. S. Nunes, “Adapting software with affective computing: a systematic review,” IEEE Trans. Affect. Comput., vol. 12, no. 4, pp. 883–899, 2019, doi: 10.1109/TAFFC.2019.2902379.
2. [2] A. Craik, Y. He, and J. L. Contreras-Vidal, “Deep learning for electroencephalogram (EEG) classification tasks: a review,” J. Neural Eng., vol. 16, no. 3, p. 31001, 2019, doi: 10.1088/1741-2552/ab0ab5.
3. [3] H. Liu, Y. Zhang, Y. Li, and X. Kong, “Review on emotion recognition based on electroencephalography,” Front. Comput. Neurosci., vol. 15, p. 758212, 2021, doi: 10.3389/fncom.2021.758212.
4. [4] X. Wang, Y. Ren, Z. Luo, W. He, J. Hong, and Y. Huang, “Deep learning-based EEG emotion recognition: Current trends and future perspectives,” Front. Psychol., vol. 14, p. 1126994, 2023, doi: 10.3389/fpsyg.2023.1126994.
5. [5] T. G. Dietterich, R. H. Lathrop, and T. Lozano-Pérez, “Solving the multiple instance problem with axis-parallel rectangles,” Artif. Intell., vol. 89, no. 1–2, pp. 31–71, 1997, doi: 10.1016/S0004-3702(96)00034-3.
6. [6] M.-A. Carbonneau, V. Cheplygina, E. Granger, and G. Gagnon, “Multiple instance learning: A survey of problem characteristics and applications,” Pattern Recognit., vol. 77, pp. 329–353, 2018, doi: 10.1016/j.patcog.2017.10.009.
7. [7] S. Koelstra et al., “Deap: A database for emotion analysis using physiological signals,” IEEE Trans. Affect. Comput., vol. 3, no. 1, pp. 18–31, 2011, doi: 10.1109/T-AFFC.2011.15.
8. [8] Y. Daşdemir, “Classification of emotional and immersive outcomes in the context of virtual reality scene interactions,” Diagnostics, vol. 13, no. 22, p. 3437, 2023, doi: 10.3390/diagnostics13223437.

9. [9] R. Jenke, A. Peer, and M. Buss, “Feature extraction and selection for emotion recognition from EEG,” IEEE Trans. Affect. Comput., vol. 5, no. 3, pp. 327–339, 2014, doi: 10.1109/TAFFC.2014.2339834.
10. [10] Y. Luo, L. Z. Zhu, Z. Y. Wan, and B. L. Lu, “Data augmentation for enhancing EEG-based emotion recognition with deep generative models,” J. Neural Eng., vol. 17, no. 5, p. 056021, 2020, doi: 10.1088/1741-2552/abb580.
11. [11] G. Bao, B. Yan, L. Tong, J. Shu, L. Wang, K. Yang, and Y. Zeng, “Data augmentation for EEG-based emotion recognition using generative adversarial networks,” Front. Comput. Neurosci., vol. 15, p. 723843, 2021, doi: 10.3389/fncom.2021.723843.
12. [12] Y. Chen and R. Chang, “Effects of data augmentation method Borderline-SMOTE on emotion recognition of EEG signals based on convolutional neural network,” IEEE Access, vol. 9, pp. 47481–47496, 2021, doi: 10.1109/ACCESS.2021.3068316.
13. [13] Xiao, G., Shi, M., Ye, M., Xu, B., Chen, Z., & Ren, Q., “4D attention-based neural network for EEG emotion recognition,” Cognitive Neurodynamics, vol. 16, no. 4, pp. 805-818, 2022, doi:10.1007/s11571-021-09751-5.
14. [14] Y. Zhong, X. Wang, X. Zhang, J. Wang, and H. Zhang, “EEG-based emotion recognition using regularized graph neural networks,” IEEE Trans. Affect. Comput., vol. 15, no. 1, pp. 242–255, 2024, doi: 10.1109/TAFFC.2020.2994159.
15. [15] Y. Zhou, R. Jiang, and J. Zhang, “K-means++ guided multi-view CNN with channel attention for EEG emotion recognition,” Brain Res., p. 150160, 2026, doi: 10.1016/j.brainres.2026.150160.
16. [16] R. Divya, R. S. S. Kumari, A. D. N. Initiative, and others, “Multi-instance learning attention model for amyloid quantification of brain sub regions in longitudinal cognitive decline,” Brain Res., vol. 1842, p. 149103, 2024, doi: 10.1016/j.brainres.2024.149103.
17. [17] C. Bogey et al., “Predictive models of clinical outcome of endovascular treatment for anterior circulation stroke using machine learning,” J. Neurosci. Methods, vol. 416, p. 110376, 2025, doi: 10.1016/j.jneumeth.2025.110376.
18. [18] Y. Wu, Y. Zhou, and M. Song, “Classification of patients with AD from healthy controls using entropy-based measures of causality brain networks,” J. Neurosci. Methods, vol. 361, p. 109265, 2021, doi: 10.1016/j.jneumeth.2021.109265.
19. [19] E. Lashgari, D. Liang, and U. Maoz, “Data augmentation for deep-learning-based electroencephalography,” J. Neurosci. Methods, vol. 346, p. 108885, 2020, doi: 10.1016/j.jneumeth.2020.108885.
20. [20] C. Hua et al., “Dual-pathway EEG model with channel attention for virtual reality motion sickness detection,” J. Neurosci. Methods, vol. 418, p. 110425, 2025, doi: 10.1016/j.jneumeth.2025.110425.
21. [21] B. D. Fontana et al., “Comparing human annotation and machine learning models for optimizing zebrafish behavioral classification in seizure analysis,” J. Neurosci. Methods, p. 110603, 2025, doi: 10.1016/j.jneumeth.2025.110603.
22. [22] O. Maron and T. Lozano-Perez, “A Framework for Multiple-Instance Learning,” in Advances in Neural Information Processing Systems, 1998, pp. 570–576.
23. [23] S. Andrews, I. Tsochantaridis, and T. Hofmann, “Support vector machines for multiple-instance learning,” in Advances in Neural Information Processing Systems, 2003, pp. 577–584.
24. [24] P. Szczakowska, A. Wosiak, and K. Żykwińska, “Improving Automatic Recognition of Emotional States Using EEG Data Augmentation Techniques,” Procedia Comput. Sci., vol. 225, pp. 4225–4234, 2023, doi: 10.1016/j.procs.2023.10.419.
25. [25] Z. Zhang, Y. Liu, and S. Zhong, “GANSER: A Self-Supervised Data Augmentation Framework for EEG-Based Emotion Recognition,” IEEE Trans. Affect. Comput., vol. 14, no. 3, pp. 2048–2063, 2023, doi: 10.1109/TAFFC.2022.3170369.
26. [26] S. N. Syakiylla Sayed Daud, R. Sudirman, and T. Wee Shing, “Safe-level SMOTE method for handling the class imbalanced problem in electroencephalography dataset of adult anxious state,” Biomed. Signal Process. Control, vol. 83, p. 104649, 2023, doi: 10.1016/j.bspc.2023.104649.
27. [27] Y. Zhou, R. Jiang, and J. Zhang, “A multi-scale deep CNN based on attention mechanism for EEG emotion recognition,” J. Neurosci. Methods, vol. 427, p. 110662, 2026, doi: 10.1016/j.jneumeth.2025.110662.
28. [28] M. Bazargani, A. Tahmasebi, M. Yazdchi, and Z. Baharlouei, “An emotion recognition embedded system using a lightweight deep learning model,” J. Med. Signals Sens., vol. 13, no. 4, pp. 272–279, 2023, doi: 10.4103/jmss.jmss_59_22.
29. [29] S. Alhagry, A. A. Fahmy, and R. A. El-Khoribi, “Emotion recognition based on EEG using LSTM recurrent neural network,” Int. J. Adv. Comput. Sci. Appl., vol. 8, no. 10, 2017.