Research Article
PDF Zotero Mendeley EndNote BibTex Cite

Comparison of Combining Methods for Multiple Continuous Diagnostic Tests Using ROC Curve Analysis

Year 2020, Volume 42, Issue 5, 553 - 567, 15.09.2020
https://doi.org/10.20515/otd.673372

Abstract

In the field of medicine, despite the uncertainty about incomplete clinical information and clinical outcomes, it is necessary to make accurate and logical decisions about the treatment and care of the patient. Medical tests have an important role in terms of medical diagnosis, but they also provide indispensable benefits in terms of planning of correct treatment and reduction of treatment costs. Providing reliable information about the patient's condition, correctly classifying patients and healthy units, and providing positive contributions to healthcare staff's correct planning for the treatment of the patient constitute the main objectives of the medical test. One of the widely used statistical techniques for evaluating the performance of the classification rule is the Receiver Operating Characteristic (ROC) curve. Nowadays, rather than using a single diagnostic test result to determine the diagnosis of the disease, it is possible to make more precise diagnosis or classification using more than one test. Different diagnostic tests in health field studies are sensitive to different aspects of the disease. Therefore, a single diagnostic test can not always be relied upon to assess an individual's health condition. It is possible to make more accurate and closer classification using more than one diagnostic test. Various models have been proposed for this purpose. These models are best linear combination method, linear discriminant analysis, quadratic discriminant analysis and logistic discriminant analysis methods. The purpose of this study is to demonstrate the utility of the logistic regression model as an alternative to the methods used in the combination of diagnostic tests in combining diagnostic tests of linear and quadratic discriminant analysis. The second objective is to compare the performance of combining diagnostic tests of logistic, linear and quadratic discriminant analyzes with parametric and nonparametric ROC analyzes of the performance of the best linear combination method with the minimax procedure. It is to determine which method performs well in cases where the assumption of the multivariate normal distribution is realized and not realized.

References

  • Nicoll, D., McPhee, S. J., & Pignone, M. (2012). Pocket guide to diagnostic tests. McGraw-Hill Medical.
  • Epstein, A. M., Begg, C. B., & McNeil, B. J. (1986). The use of ambulatory testing in prepaid and fee-for-service group practices. New England Journal of Medicine, 314(17), 1089-1094.
  • Zhang, D. D., Zhou, X. H., Freeman, D. H., & Freeman, J. L. (2002). A non‐parametric method for the comparison of partial areas under ROC curves and its application to large health care data sets. Statistics in medicine, 21(5), 701-715.
  • Friedman, J., Hastie, T., & Tibshirani, R. (2001). The elements of statistical learning (Vol. 1): Springer series in statistics New York.
  • Colak, E., Mutlu, F., Bal, C., Oner, S., Ozdamar, K., Gok, B., & Cavusoglu, Y. (2012). Comparison of semiparametric, parametric, and nonparametric ROC analysis for continuous diagnostic tests using a simulation study and acute coronary syndrome data. Computational and mathematical methods in medicine, 2012.
  • Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143(1), 29-36.
  • Metz, C. E. (1978). Basic principles of ROC analysis. Paper presented at the Seminars in nuclear medicine.
  • Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861-874. doi:http://dx.doi.org/10.1016/ j.patrec.2005.10.010
  • Li, J., & Fine, J. P. (2008). ROC analysis with multiple classes and multiple tests: methodology and its application in microarray studies. Biostatistics, 9(3), 566-576. doi:10.1093/biostatistics/kxm050
  • Su, J. Q., & Liu, J. S. (1993). Linear-Combinations of Multiple Diagnostic Markers. Journal of the American Statistical Association, 88(424), 1350-1355.
  • Reiser, B., & Faraggi, D. (1997). Confidence intervals for the generalized ROC criterion. Biometrics, 644-652.
  • Pepe, M. S., & Thompson, M. L. (2000). Combining diagnostic test results to increase accuracy. Biostatistics, 1(2), 123-140.
  • Liu, C., Liu, A., & Halabi, S. (2011). A min–max combination of biomarkers to improve diagnostic accuracy. Statistics in Medicine, 30(16), 2005-2014.
  • Gao, F., Xiong, C., Yan, Y., Yu, K., & Zhang, Z. (2008). Estimating optimum linear combination of multiple correlated diagnostic tests at a fixed specificity with receiver operating characteristic curves. Journal of Data Science, 6(1), 105-123.
  • Yu, W., Kwon, M. S., & Park, T. (2015). Multivariate quantitative multifactor dimensionality reduction for detecting gene-gene interactions. Human heredity, 79(3-4), 168-181.
  • Kang, L., Liu, A., & Tian, L. (2016). Linear combination methods to improve diagnostic/prognostic accuracy on future observations. Stat Methods Med Res, 25(4), 1359-1380. doi:10.1177/0962280213481053
  • Sameera, G., Vardhan, R. V., & Sarma, K. V. S. (2016). Binary classification using multivariate receiver operating characteristic curve for continuous data. Journal of biopharmaceutical statistics, 26(3), 421-431.
  • Mamtani, M. R., Thakre, T. P., Kalkonde, M. Y., Amin, M. A., Kalkonde, Y. V., Amin, A. P., & Kulkarni, H. (2006). A simple method to combine multiple molecular biomarkers for dichotomous diagnostic classification. BMC bioinformatics, 7(1), 442.
  • Ma, S., & Huang, J. (2007). Combining multiple markers for classification using ROC. Biometrics, 63(3), 751-757. doi:10.1111/j.1541-0420.2006.00731.x
  • Qin, J., & Zhang, B. (2010). Best combination of multiple diagnostic tests for screening purposes. Statistics in Medicine, 29(28), 2905-2919.
  • Lin, H., Zhou, L., Peng, H., & Zhou, X. H. (2011). Selection and combination of biomarkers using ROC method for disease classification and prediction. Canadian Journal of Statistics, 39(2), 324-343.
  • Johnson, R. A., & Wichern, D. (2002). Multivariate analysis. John Wiley & Sons, Ltd.
  • Schulzer, M. (1994). Diagnostic tests: a statistical review. Muscle & nerve, 17(7), 815-819.
  • Segen, J. C., & Wade, J. (2002). The patient's guide to medical tests: everything you need to know about the tests your doctor orders. Infobase Publishing.
  • Anderson, T. W., & Bahadur, R. R. (1962). Classification into two multivariate normal distributions with different covariance matrices. The annals of mathematical statistics, 33(2), 420-431.

Sürekli Yapıdaki Çoklu Tanı Testleri İçin Birleştirme Yöntemlerinin ROC Eğrisi Analizi Kullanarak Karşılaştırılması

Year 2020, Volume 42, Issue 5, 553 - 567, 15.09.2020
https://doi.org/10.20515/otd.673372

Abstract

Tıp alanında, eksik klinik bilgilere ve klinik sonuçlarla ilgili belirsizliğe rağmen, hastanın tedavisi ve bakımı ile ilgili doğru ve mantıklı kararlar vermek gerekmektedir. Medikal testler tıbbi tanı açısından önemli bir role sahip olmanın yanı sıra doğru tedavinin planlanması ile tedavi maliyetlerinin azaltılması yönünden göz ardı edilemeyecek katkılar sağlamaktadırlar. Hastanın durumu hakkında güvenilir bilgi sağlamak, hasta ile sağlıklı birimleri doğru sınıflamak ve hastanın tedavisi için sağlık personelinin doğru planlama yapmasına olumlu katkılar sağlamak medikal testin temel amaçlarını oluşturmaktadır. Sınıflandırma kuralının performansını değerlendirmek için yaygın olarak kullanılan istatistiksel tekniklerden biri, Receiver Operating Characteristic (ROC) eğrisidir. Günümüzde, tek bir tanı testi sonucu kullanılarak hastalığa ait tanının belirlenmesi yerine birden fazla test kullanılarak daha kesin bir tanı ya da sınıflandırma yapmak mümkündür. Sağlık alanında yapılan çalışmalarda farklı tanı testleri, hastalığın farklı yönlerine duyarlıdır. Dolayısıyla, bireyin sağlık durumunu değerlendirmek için her zaman tek bir tanı testine güvenilemez. Birden fazla tanı testi kullanılarak gerçeğe daha yakın ve doğru sınıflandırma yapmak mümkündür. Bu amaç doğrultusunda çeşitli modeller öne sürülmüştür. Bu modeller, en iyi doğrusal birleştirme yöntemi, doğrusal ayırma analizi, karesel ayırma analizi ve lojistik ayırma analizi yöntemleridir. Bu çalışmasının amacı, tanı testlerinin birleştirilmesinde kullanılan yöntemlere alternatif olarak lojistik regresyon modeli ile doğrusal ve karesel ayırma analizlerinin tanı testlerinin birleştirilmesinde kullanılabilirliğini göstermek, lojistik, doğrusal ve karesel ayırma analizlerinin tanı testlerinin birleştirilmesindeki performanslarını, minimax prosedürü ile en iyi doğrusal birleştirme yönteminin performansını parametrik ve parametrik olmayan ROC analizleri ile karşılaştırmak, çok değişkenli normal dağılım varsayımının gerçekleştiği ve gerçekleşmediği durumlarda hangi yöntemin iyi performans gösterdiğini belirlemektir.

References

  • Nicoll, D., McPhee, S. J., & Pignone, M. (2012). Pocket guide to diagnostic tests. McGraw-Hill Medical.
  • Epstein, A. M., Begg, C. B., & McNeil, B. J. (1986). The use of ambulatory testing in prepaid and fee-for-service group practices. New England Journal of Medicine, 314(17), 1089-1094.
  • Zhang, D. D., Zhou, X. H., Freeman, D. H., & Freeman, J. L. (2002). A non‐parametric method for the comparison of partial areas under ROC curves and its application to large health care data sets. Statistics in medicine, 21(5), 701-715.
  • Friedman, J., Hastie, T., & Tibshirani, R. (2001). The elements of statistical learning (Vol. 1): Springer series in statistics New York.
  • Colak, E., Mutlu, F., Bal, C., Oner, S., Ozdamar, K., Gok, B., & Cavusoglu, Y. (2012). Comparison of semiparametric, parametric, and nonparametric ROC analysis for continuous diagnostic tests using a simulation study and acute coronary syndrome data. Computational and mathematical methods in medicine, 2012.
  • Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143(1), 29-36.
  • Metz, C. E. (1978). Basic principles of ROC analysis. Paper presented at the Seminars in nuclear medicine.
  • Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861-874. doi:http://dx.doi.org/10.1016/ j.patrec.2005.10.010
  • Li, J., & Fine, J. P. (2008). ROC analysis with multiple classes and multiple tests: methodology and its application in microarray studies. Biostatistics, 9(3), 566-576. doi:10.1093/biostatistics/kxm050
  • Su, J. Q., & Liu, J. S. (1993). Linear-Combinations of Multiple Diagnostic Markers. Journal of the American Statistical Association, 88(424), 1350-1355.
  • Reiser, B., & Faraggi, D. (1997). Confidence intervals for the generalized ROC criterion. Biometrics, 644-652.
  • Pepe, M. S., & Thompson, M. L. (2000). Combining diagnostic test results to increase accuracy. Biostatistics, 1(2), 123-140.
  • Liu, C., Liu, A., & Halabi, S. (2011). A min–max combination of biomarkers to improve diagnostic accuracy. Statistics in Medicine, 30(16), 2005-2014.
  • Gao, F., Xiong, C., Yan, Y., Yu, K., & Zhang, Z. (2008). Estimating optimum linear combination of multiple correlated diagnostic tests at a fixed specificity with receiver operating characteristic curves. Journal of Data Science, 6(1), 105-123.
  • Yu, W., Kwon, M. S., & Park, T. (2015). Multivariate quantitative multifactor dimensionality reduction for detecting gene-gene interactions. Human heredity, 79(3-4), 168-181.
  • Kang, L., Liu, A., & Tian, L. (2016). Linear combination methods to improve diagnostic/prognostic accuracy on future observations. Stat Methods Med Res, 25(4), 1359-1380. doi:10.1177/0962280213481053
  • Sameera, G., Vardhan, R. V., & Sarma, K. V. S. (2016). Binary classification using multivariate receiver operating characteristic curve for continuous data. Journal of biopharmaceutical statistics, 26(3), 421-431.
  • Mamtani, M. R., Thakre, T. P., Kalkonde, M. Y., Amin, M. A., Kalkonde, Y. V., Amin, A. P., & Kulkarni, H. (2006). A simple method to combine multiple molecular biomarkers for dichotomous diagnostic classification. BMC bioinformatics, 7(1), 442.
  • Ma, S., & Huang, J. (2007). Combining multiple markers for classification using ROC. Biometrics, 63(3), 751-757. doi:10.1111/j.1541-0420.2006.00731.x
  • Qin, J., & Zhang, B. (2010). Best combination of multiple diagnostic tests for screening purposes. Statistics in Medicine, 29(28), 2905-2919.
  • Lin, H., Zhou, L., Peng, H., & Zhou, X. H. (2011). Selection and combination of biomarkers using ROC method for disease classification and prediction. Canadian Journal of Statistics, 39(2), 324-343.
  • Johnson, R. A., & Wichern, D. (2002). Multivariate analysis. John Wiley & Sons, Ltd.
  • Schulzer, M. (1994). Diagnostic tests: a statistical review. Muscle & nerve, 17(7), 815-819.
  • Segen, J. C., & Wade, J. (2002). The patient's guide to medical tests: everything you need to know about the tests your doctor orders. Infobase Publishing.
  • Anderson, T. W., & Bahadur, R. R. (1962). Classification into two multivariate normal distributions with different covariance matrices. The annals of mathematical statistics, 33(2), 420-431.

Details

Primary Language Turkish
Subjects Health Care Sciences and Services
Journal Section ORİJİNAL MAKALE
Authors

Muzaffer BİLGİN (Primary Author)
ESKİŞEHİR OSMANGAZİ ÜNİVERSİTESİ, TIP FAKÜLTESİ
0000-0002-6072-6466
Türkiye


Aşkın DOĞAN
İZMİR TEPECİK SAĞLIK UYGULAMA VE ARAŞTIRMA MERKEZİ
0000-0001-5334-6265
Türkiye


Ertugrul COLAK
ESKİŞEHİR OSMANGAZİ ÜNİVERSİTESİ, TIP FAKÜLTESİ
0000-0003-3251-1043
Türkiye

Publication Date September 15, 2020
Published in Issue Year 2020, Volume 42, Issue 5

Cite

Bibtex @research article { otd673372, journal = {Osmangazi Tıp Dergisi}, issn = {1305-4953}, eissn = {2587-1579}, address = {}, publisher = {Eskişehir Osmangazi University}, year = {2020}, volume = {42}, pages = {553 - 567}, doi = {10.20515/otd.673372}, title = {Sürekli Yapıdaki Çoklu Tanı Testleri İçin Birleştirme Yöntemlerinin ROC Eğrisi Analizi Kullanarak Karşılaştırılması}, key = {cite}, author = {Bilgin, Muzaffer and Doğan, Aşkın and Colak, Ertugrul} }
APA Bilgin, M. , Doğan, A. & Colak, E. (2020). Sürekli Yapıdaki Çoklu Tanı Testleri İçin Birleştirme Yöntemlerinin ROC Eğrisi Analizi Kullanarak Karşılaştırılması . Osmangazi Tıp Dergisi , 42 (5) , 553-567 . DOI: 10.20515/otd.673372
MLA Bilgin, M. , Doğan, A. , Colak, E. "Sürekli Yapıdaki Çoklu Tanı Testleri İçin Birleştirme Yöntemlerinin ROC Eğrisi Analizi Kullanarak Karşılaştırılması" . Osmangazi Tıp Dergisi 42 (2020 ): 553-567 <https://dergipark.org.tr/en/pub/otd/issue/56683/673372>
Chicago Bilgin, M. , Doğan, A. , Colak, E. "Sürekli Yapıdaki Çoklu Tanı Testleri İçin Birleştirme Yöntemlerinin ROC Eğrisi Analizi Kullanarak Karşılaştırılması". Osmangazi Tıp Dergisi 42 (2020 ): 553-567
RIS TY - JOUR T1 - Sürekli Yapıdaki Çoklu Tanı Testleri İçin Birleştirme Yöntemlerinin ROC Eğrisi Analizi Kullanarak Karşılaştırılması AU - Muzaffer Bilgin , Aşkın Doğan , Ertugrul Colak Y1 - 2020 PY - 2020 N1 - doi: 10.20515/otd.673372 DO - 10.20515/otd.673372 T2 - Osmangazi Tıp Dergisi JF - Journal JO - JOR SP - 553 EP - 567 VL - 42 IS - 5 SN - 1305-4953-2587-1579 M3 - doi: 10.20515/otd.673372 UR - https://doi.org/10.20515/otd.673372 Y2 - 2020 ER -
EndNote %0 Osmangazi Journal of Medicine Sürekli Yapıdaki Çoklu Tanı Testleri İçin Birleştirme Yöntemlerinin ROC Eğrisi Analizi Kullanarak Karşılaştırılması %A Muzaffer Bilgin , Aşkın Doğan , Ertugrul Colak %T Sürekli Yapıdaki Çoklu Tanı Testleri İçin Birleştirme Yöntemlerinin ROC Eğrisi Analizi Kullanarak Karşılaştırılması %D 2020 %J Osmangazi Tıp Dergisi %P 1305-4953-2587-1579 %V 42 %N 5 %R doi: 10.20515/otd.673372 %U 10.20515/otd.673372
ISNAD Bilgin, Muzaffer , Doğan, Aşkın , Colak, Ertugrul . "Sürekli Yapıdaki Çoklu Tanı Testleri İçin Birleştirme Yöntemlerinin ROC Eğrisi Analizi Kullanarak Karşılaştırılması". Osmangazi Tıp Dergisi 42 / 5 (September 2020): 553-567 . https://doi.org/10.20515/otd.673372
AMA Bilgin M. , Doğan A. , Colak E. Sürekli Yapıdaki Çoklu Tanı Testleri İçin Birleştirme Yöntemlerinin ROC Eğrisi Analizi Kullanarak Karşılaştırılması. Osmangazi Tıp Dergisi. 2020; 42(5): 553-567.
Vancouver Bilgin M. , Doğan A. , Colak E. Sürekli Yapıdaki Çoklu Tanı Testleri İçin Birleştirme Yöntemlerinin ROC Eğrisi Analizi Kullanarak Karşılaştırılması. Osmangazi Tıp Dergisi. 2020; 42(5): 553-567.
IEEE M. Bilgin , A. Doğan and E. Colak , "Sürekli Yapıdaki Çoklu Tanı Testleri İçin Birleştirme Yöntemlerinin ROC Eğrisi Analizi Kullanarak Karşılaştırılması", Osmangazi Tıp Dergisi, vol. 42, no. 5, pp. 553-567, Sep. 2020, doi:10.20515/otd.673372

13299         13287  13308       13306       13305    13307  13301