Comparing the performances of prediction models: A study on growth of lambs

Abstract

The aim of this study is to assess the impact of the birth weight variable on the performance of the model through the use of the classical methods employed to evaluate the performances of prediction models, namely, coefficient of determination, Brier score, area under the ROC curve (AUC), and two new alternative methods, namely, Net Reclassification Improvement (NRI) and Integrated Discrimination Improvement (IDI). The material of the study consists of the data on the growth of 433 lambs in Sivas-Ulaş Agricultural Enterprise between 1996 and 1997. The study examines the impact of birth weight on the model's performance in the classification of lambs as those having and not having the desired weaning weight (WW). The results indicate that the contribution of birth weight to the discrimination of the model is 2.1% according to AUC. NRI was found to be 11.6% (p<0.001). Thus, when the birth weight variable is added, the probability of lambs with the desired WW to be included in the low risk category is 11.6% higher than the probability of those lambs to be included in the high risk category. Categorical independent IDI was calculated to be 3.3% (p<0.001). In conclusion, NRI indicates the impact of birth weight more sensitively than AUC by measuring the change on the basis of the risk categories. These performance indexes (NRI and IDI) newly developed in the literature produce more sensitive results compared to the classical approach (AUC)

Keywords

• AUC
• IDI
• model performance measures
• NRI
• reclassification

Tahmin modellerinin performanslarının değerlendirilmesi: Kuzularda büyüme üzerine bir çalışma

Abstract

Bu çalışmanın amacı, tahmin modellerinin performanslarının değerlendirilmesinde kullanılan klasik yöntemler: Belirtme katsayısı, Brier skor, eğri altında kalan alan (EAKA) ve bu yöntemlere alternatif olarak sunulan iki yeni yöntem: Net Tekrar Sınıflandırma İyileştirmesi (NTSİ) ve Bütünleşik Ayrımsama İyileştirmesi (BAİ) ile doğum ağırlığı değişkeninin model performansına etkisinin incelenmesidir. Çalışmanın materyalini 1996-1997 yılları arasında Sivas-Ulaş Tarım İşletmesindeki 433 kuzunun büyüme özelliğine ait veriler oluşturmuştur. Çalışmada, istenilen sütten kesim ağırlığına (SKA) sahip olan ve olmayan kuzuların sınıflandırılmasında doğum ağırlığının model performansına etkisi incelenmiştir. Sonuçlara göre doğum ağırlığının modelin ayırt edebilirliğine katkısı EAKA’ya göre %2.1’dir. NTSİ %11.6 (p<0.001) olarak bulunmuştur. Böylece doğum ağırlığı belirteci eklendiğinde, istenilen SKA’da olan bireylerin düşük risk kategorisine geçme olasılığı, yüksek risk kategorisine geçme olasılığından %11.6 daha fazladır. Kategoriden bağımsız BAİ ise %3.3 (p<0.001) olarak hesaplanmıştır. Sonuç olarak NTSİ, doğum ağırlığının etkisini risk kategorileri bazında meydana gelen değişimi ölçerek EAKA’ya nazaran daha hassas bir şekilde göstermiştir. Literatürde yeni geliştirilen bu performans ölçüleri (NTSİ ve BAİ) klasik yaklaşıma (EAKA) nazaran daha duyarlı sonuçlar üretmektedirler

Keywords

• BAİ
• EAKA
• model performans ölçüleri
• NTSİ
• tekrar sınıflandırma

References

1. Akçapınar H, Özbeyaz C, Ünal N, et al. (2000): Kuzu eti üretimine uygun ana ve baba hatlarının geliştirilmesinde Akkaraman, Sakız ve Kıvırcık koyun ırklarından yararlanma imkanları I. Akkaraman koyunlarda döl verimi, Akkaraman, Sakiz X Akkaraman F1 ve Kıvırcık X Akkaraman F1 kuzularda yaşama gücü ve büyüme. Turk J Vet Anim Sci, 24, 71-79.
2. Akçay A, Ertuğrul O, Gürcan IS, et al. (2011): Quantification of risk factors of coccidiosis in broilers by using lojistic regression analysis. Vet J Ankara Univ, 58, 195-202.
3. Ateca lB, Dombrowski SC, Silverstein DC (2015): Survival analysis of critically Ill dogs with hypotension with or without hyperlactatemia: 67 cases (2006-2011). Javma, 246, 100-104.
4. Cook NR, Buring JE, Ridker PM (2006): The effect of including c-reactive protein in cardiovascular risk prediction models for women. Ann Intern Med, 145, 21-29.
5. Cook NR (2007): Use and misuse of the receiver operating characteristic curve in risk prediction. JAHA, 115, 928- 935.
6. Cui J (2009): Overview of risk prediction models in cardiovascular disease research. Ann Epidemiol, 19, 711- 717.
7. Çoban Ö, Tüzemen N (2007): Siyah alaca ve esmer ineklerde subklinik mastitis için risk faktörleri giriş materyal ve metot bulgular. Uludağ University J Fac Vet Med, 26, 27-31.
8. Gu W, Pepe MS (2009): Measures to Summarize and Compare the Predictive Capacity of Markers. UW Biostatistics Working Paper Series University of Washington, 342.

9. Janes H, Pepe MS, Gu W (2008): Assessing the value of risk predictions by using risk stratification tables. Ann Intern Med, 149, 751.
10. King lG, Wohl JS, Manning AM, et al. (2001): Evaluation of the survival prediction index as a model of risk stratification for clinical research in dogs admitted to intensive care units at four locations. AVMA, 62, 948-954.
11. Oğuzoğlu TÇ, Muz D, Timurkan MÖ, et al. (2013): Prevalences of feline coronavirus (FCoV), feline leukaemia virus (FeLV), feline immunodeficiency virus (FIV) and feline parvovirus (FPV) among domestic cats in Ankara, Turkey. Revue Med Vet, 164, 511-516.
12. Pencina MJ, D’Agostino Sr RB, D’Agostino Jr RB, et al. (2008): Evaluating the added predictive ability of a new marker: From area under the ROC curve to reclassification and beyond. Statist Med, 27, 157-172.