ROC Analizinde Doğruluk Oranına Dayalı Uyarlanmış Kesme Değerleri ve Performans Karşılaştırmaları

Decision-makers face a major challenge in determining which of the alternative tests to use, especially in binary (positive/negative) classification problems. The performance of a classifier in selecting between two options, including diagnostic tests used to diagnose a disease in medicine, is an important research problem. ROC (Receiver Operating Characteristic) analysis is a statistical method that can map the performance of these tests in detail and identify the optimal cut-off value for decision making. Current cut-off value calculations employed in literature use sensitivity and specificity values. Accuracy is also another measure that should be considered in the calculation of the cut-off value, as well as sensitivity and specificity values. In this study, we focused on the calculation of alternative cut-off values based on accuracy. The existing Youden index, corner distance index, compatibility probability index, and unity index methods were adapted with accuracy and new methods were proposed. In cases where positive and negative cases have a symmetric distribution, the existing and adapted indices were compared with equal weights. The performance of a total of 8 different cut-off values was evaluated over 20,000 trials using Monte-Carlo simulation in the R program. According to the simulation results, the proposed adapted methods were shown to have at least the same accuracy as the existing methods.

Karar vericiler için özellikle iki kategorili(pozitif/negatif) sınıflandırma problemlerinde alternatif testler arasından hangisinin kullanılacağının belirlenmesi önemli bir problemdir. Tıpta hastalık tanısı konulması amacıyla kullanılan tanı testleri başta olmak üzere bir sınıflandırıcının iki seçenek arasındaki seçim performansının değerlendirilmesi araştırmacılar için önemli bir sorundur. ROC (Receiver Operating Characteristic) analizi bu testlerin performanslarını detaylı biçimde haritalayabilen ve karar vermede önemli olan kesme değerinin bulunmasına yarayan bir istatistiksel yöntemdir. Literatürde mevcut kesme değeri hesabı duyarlılık ve özgüllük değerlerini kullanmaktadır. Duyarlılık ve özgüllük değerleri kadar doğruluk oranı da kesme değeri hesaplanmasında dikkate alınması gereken bir diğer ölçüttür. Bu çalışmada doğruluk oranı baz alınarak alternatif kesme değerlerinin hesaplanması üzerinde duruldu. Literatürde mevcut olan Youden indeksi, köşe uzaklığı indeksi, uyum olasılığı indeksi ve birlik indeksi yöntemleri doğruluk oranı ile uyarlanarak yeni yöntemler önerildi. Pozitif ve negatif olguların simetrik dağılıma sahip olduğu durumlar için eşit ağırlıklı olarak mevcut ve uyarlanmış indeksler karşılaştırılmıştır. Toplam 8 ayrı kesme değerinin performansları R programında Monte-Carlo simülasyonu ile 20000 deneme üzerinden değerlendirilmiştir. Elde edilen simülasyon sonuçlarına göre önerilen uyarlanmış yöntemlerin en az mevcut olan yöntemler kadar doğruluk oranına sahip olduğu gösterilmiştir.