ROC Analizinde Doğruluk Oranına Dayalı Uyarlanmış Kesme Değerleri ve Performans Karşılaştırmaları

Year 2024, , 115 - 123, 30.04.2024

Ahmet Pekgör , Aydın Karakoca

https://doi.org/10.47112/neufmbd.2024.36

Abstract

Karar vericiler için özellikle iki kategorili(pozitif/negatif) sınıflandırma problemlerinde alternatif testler arasından hangisinin kullanılacağının belirlenmesi önemli bir problemdir. Tıpta hastalık tanısı konulması amacıyla kullanılan tanı testleri başta olmak üzere bir sınıflandırıcının iki seçenek arasındaki seçim performansının değerlendirilmesi araştırmacılar için önemli bir sorundur. ROC (Receiver Operating Characteristic) analizi bu testlerin performanslarını detaylı biçimde haritalayabilen ve karar vermede önemli olan kesme değerinin bulunmasına yarayan bir istatistiksel yöntemdir. Literatürde mevcut kesme değeri hesabı duyarlılık ve özgüllük değerlerini kullanmaktadır. Duyarlılık ve özgüllük değerleri kadar doğruluk oranı da kesme değeri hesaplanmasında dikkate alınması gereken bir diğer ölçüttür. Bu çalışmada doğruluk oranı baz alınarak alternatif kesme değerlerinin hesaplanması üzerinde duruldu. Literatürde mevcut olan Youden indeksi, köşe uzaklığı indeksi, uyum olasılığı indeksi ve birlik indeksi yöntemleri doğruluk oranı ile uyarlanarak yeni yöntemler önerildi. Pozitif ve negatif olguların simetrik dağılıma sahip olduğu durumlar için eşit ağırlıklı olarak mevcut ve uyarlanmış indeksler karşılaştırılmıştır. Toplam 8 ayrı kesme değerinin performansları R programında Monte-Carlo simülasyonu ile 20000 deneme üzerinden değerlendirilmiştir. Elde edilen simülasyon sonuçlarına göre önerilen uyarlanmış yöntemlerin en az mevcut olan yöntemler kadar doğruluk oranına sahip olduğu gösterilmiştir.

Keywords

Doğruluk oranı, Kesme değer, ROC analizi

Adapted Cut-Off Values and Performance Comparisons Based on Accuracy Rate in ROC Analysis

Abstract

Decision-makers face a major challenge in determining which of the alternative tests to use, especially in binary (positive/negative) classification problems. The performance of a classifier in selecting between two options, including diagnostic tests used to diagnose a disease in medicine, is an important research problem. ROC (Receiver Operating Characteristic) analysis is a statistical method that can map the performance of these tests in detail and identify the optimal cut-off value for decision making. Current cut-off value calculations employed in literature use sensitivity and specificity values. Accuracy is also another measure that should be considered in the calculation of the cut-off value, as well as sensitivity and specificity values. In this study, we focused on the calculation of alternative cut-off values based on accuracy. The existing Youden index, corner distance index, compatibility probability index, and unity index methods were adapted with accuracy and new methods were proposed. In cases where positive and negative cases have a symmetric distribution, the existing and adapted indices were compared with equal weights. The performance of a total of 8 different cut-off values was evaluated over 20,000 trials using Monte-Carlo simulation in the R program. According to the simulation results, the proposed adapted methods were shown to have at least the same accuracy as the existing methods.

Keywords

Accuracy rate, Cut-off value, ROC analysis

References

• D. M. Green, J. A. Swets, Signal detection theory and psychophysics, Wiley, New York, 1966.
• C. E. Metz, Basic principles of ROC analysis. In Seminars in Nuclear Medicine. 8(4) (1978) 283-298. doi: 10.1016/s0001-2998(78)80014-2
• J. A. Hanley, B. J. McNeil, The meaning and use of the area under a receiver operating characteristic (ROC) curve, Radiology. 143(1) (1982) 29-36. doi: 10.1148/radiology.143.1.7063747
• M. Greiner, D. Pfeiffer, R. D. Smith, Principles and practical application of the receiver-operating characteristic analysis for diagnostic tests, Preventive Veterinary Medicine. 45(1-2) (2000) 23-41. doi: 10.1016/s0167-5877(00)00115-x
• S. Demircioğlu, S. Budancamanak, A. Doğan, Serum B12 düzeyi primer ve sekonder polisitemi ayrıcı tanısında etkin bir ayrıcı tanı kriteri olarak kullanılabilir mi?. Selçuk Tıp Dergisi. 36(1), (2020) 22-26. doi: 10.30733/std.2020.01365
• Y. E. Göğer, M.S. Özkent, S. İyisoy, G. Karalezli, M. Kılınç, Psa değeri 4-10 arasında olan hastalarda prostat kanserini öngörmede serbest Psa/psad,(serbest/total Psa)/psad'nin tanısal değeri; tek merkezli çalışma sonuçları, Selçuk Tıp Dergisi. 37(2) (2021) 106-112. doi: 10.30733/std.2021.01506
• R. Alanlı, M. B. Küçükay, K. S. Yalçın, Alkole bağlı olmayan karaciğer yağlanması ile yüksek dansiteli dışı lipoprotein/yüksek dansiteli lipoprotein oranının ilişkisi, Selçuk Tıp Dergisi. 37(3) (2021) 251-256. doi: 10.30733/std.2021.01518
• Z. D. Dündar, K. Küçükceran, M. K. Ayrancı, Kritik bakım hastalarında kan üre azotu/albumin oranının hastane içi mortaliteyi tahmin gücünün değerlendirilmesi, Selçuk Tıp Dergisi. 37(4) (2021) 294-300. doi: 10.30733/std.2021.01508
• A. F. Kekeç, A. Kırılmaz, H. Yaka, T. S. Çolak, H. S. Semis, Kalça kırıkları sonrası cerrahi zamanlamanın ve Covid-19 pandemisinin mortaliteye etkisi, Selçuk Tıp Dergisi. 38(3) (2022) 136-142. doi: 10.30733/std.2022.01560
• A. Yücel, A. O. Kılıç, S. B. Kılınç, Pediatrik akut pankreatit şiddetinin erken tahmininde inflamatuar biyobelirteçlerin rolü, Selçuk Tıp Dergisi. 38(4) (2022) 186-193. doi: 10.30733/std.2022.01567
• W. J. Youden, Index for rating diagnostic tests, Cancer. 3(1) (1950) 32-35. doi:10.1002/1097-0142(1950)3:1%3C32::AID-CNCR2820030106%3E3.0.CO;2-3
• N. J. Perkins, E. F. Schisterman, The inconsistency of “optimal” cutpoints obtained using two criteria based on the receiver operating characteristic curve, American Journal of Epidemiology. 163(7) (2006) 670-675. doi: 10.1093/aje/kwj063
• X. Liu, Classification accuracy and cut point selection, Statistics in Medicine. 31(23) (2012) 2676-2686. doi: 10.1002/sim.4509
• I. Ünal, Defining an optimal cut-point value in ROC analysis: an alternative approach, Computational and mathematical methods in medicine. (2017). doi: 10.1155/2017/3762651