Prediction of surgical skill using machine learning with optimal EEG locations in two different laparoscopic surgery training task

Introduction: The aim of this study was to evaluate whether surgical skill can be reliably classified using low-density, mobile EEG recordings during laparoscopic simulation tasks with different cognitive–motor demands. Specifically, we compared Peg Transfer, a primarily motor-driven task, with String Pass (Threading), which involves higher cognitive–motor integration, to assess task-dependent neural and behavioral discriminability. Materials and Methods: Surgeons and non-experienced participants performed two standardized laparoscopic simulation tasks: Peg Transfer and String Pass. EEG data were acquired using a mobile EEG system with a sparse electrode configuration to ensure feasibility in realistic training environments. Task-related EEG features were extracted, focusing on band-specific spectral power to characterize local oscillatory activity. These features were used to train a Support Vector Classifier (SVC) for differentiating levels of surgical expertise. Behavioral performance was assessed using task completion time and reaction time, while subjective workload was evaluated using the NASA Task Load Index (NASA-TLX). Results: Classification performance revealed a clear task-dependent pattern. Consistent with these findings, EEG power analyses showed clearer and more widespread brain activation differences between surgeons and students during the more complex String Pass task, whereas neural differences during Peg Transfer were weaker and more localized. SVM-based classification using task-related EEG features achieved higher discriminative performance for the String Pass task, with the strongest separation observed in the theta band (AUC = 0.88). In contrast, Peg Transfer exhibited weak discriminative power at the single-band level. Behavioral results were consistent with machine learning findings: expert surgeons and medical students were more clearly differentiated during String Pass based on completion time and reaction time, whereas no significant group differences were observed for Peg Transfer. Subjective workload ratings measured by NASA-TLX did not differ significantly between groups for either task. Conclusion: These findings demonstrate that robust classification of surgical expertise is achievable using a reduced, low-density EEG setup, supporting its potential for real-time and objective skill assessment. This strategy has the potential to support objective surgeon certification processes and competency-based surgical training frameworks.

Giriş: Bu çalışmanın amacı, farklı bilişsel–motor taleplere sahip laparoskopik simülasyon görevleri sırasında elde edilen düşük yoğunluklu, mobil EEG kayıtları kullanılarak cerrahi becerinin güvenilir şekilde sınıflandırılıp sınıflandırılamayacağını değerlendirmektir. Bu kapsamda, ağırlıklı olarak motor beceri gerektiren Peg Transfer görevi ile daha yüksek bilişsel–motor entegrasyon gerektiren String Pass (ip geçirme) görevi karşılaştırılarak görev bağımlı nöral ve davranışsal ayırt edilebilirlik incelenmiştir. Amaç: Bu çalışmada, farklı bilişsel–motor gereksinimlere sahip iki laparoskopik simülasyon görevi sırasında elde edilen EEG verileri kullanılarak cerrahi beceri düzeylerinin makine öğrenmesi yöntemleriyle sınıflandırılabilirliğini araştırmak amaçlanmıştır. Gereç ve Yöntemler: Cerrahlar ve deneyimsiz katılımcılar iki standart laparoskopik simülasyon görevini gerçekleştirmiştir: Peg Transfer ve String Pass. EEG verileri, gerçekçi eğitim ortamlarında uygulanabilirliği sağlamak amacıyla seyrek elektrot yerleşimine sahip mobil bir EEG sistemi kullanılarak kaydedilmiştir. Göreve bağlı EEG özellikleri, özellikle bantlara özgü spektral güç değerlerine odaklanılarak çıkarılmış ve lokal osilatuar aktiviteyi karakterize etmek için kullanılmıştır. Elde edilen özellikler, cerrahi uzmanlık düzeylerini ayırt etmek amacıyla bir Support Vector Classifier (SVC) modelinin eğitilmesinde kullanılmıştır. Davranışsal performans görev tamamlama süresi ve reaksiyon süresi ile değerlendirilmiş, öznel iş yükü ise NASA Task Load Index (NASA-TLX) ölçeği kullanılarak ölçülmüştür. Bulgular: Sınıflandırma performansı görev türüne bağlı belirgin bir örüntü ortaya koymuştur. EEG güç analizleri, daha karmaşık olan String Pass görevi sırasında cerrahlar ile öğrenciler arasında daha belirgin ve daha yaygın beyin aktivasyonu farklılıkları olduğunu göstermiştir; buna karşın Peg Transfer görevi sırasında nöral farklılıklar daha zayıf ve daha lokalize bulunmuştur. Göreve bağlı EEG özellikleri kullanılarak gerçekleştirilen SVM tabanlı sınıflandırma, String Pass görevi için daha yüksek ayırt edici performans göstermiştir ve en güçlü ayrım theta bandında gözlenmiştir (AUC = 0.88). Buna karşılık Peg Transfer görevi, tek bant düzeyinde zayıf ayırt edici güce sahip bulunmuştur. Davranışsal sonuçlar da makine öğrenmesi bulgularıyla uyumludur: uzman cerrahlar ve tıp öğrencileri String Pass görevi sırasında tamamlama süresi ve reaksiyon süresi açısından daha net şekilde ayrışırken, Peg Transfer görevi için gruplar arasında anlamlı fark gözlenmemiştir. NASA-TLX ile ölçülen öznel iş yükü puanları ise her iki görev için de gruplar arasında anlamlı farklılık göstermemiştir. Sonuç: Bu bulgular, azaltılmış ve düşük yoğunluklu bir EEG düzeni kullanılarak cerrahi uzmanlığın güvenilir şekilde sınıflandırılabileceğini göstermekte ve bu yaklaşımın gerçek zamanlı ve objektif beceri değerlendirmesi için potansiyel taşıdığını ortaya koymaktadır. Bu strateji, cerrah sertifikasyon süreçlerinde objektif değerlendirmeyi destekleyebilir ve yetkinlik temelli cerrahi eğitim programlarının geliştirilmesine katkı sağlayabilir.