Covariate Adjusted ROC Curve Analysis and An Application

Abstract

Objective: Aim of this study is to analyze the change of the area under the adjusted ROC (AdjROC) curve in certain conditions via binormal distribution model using simulation studies and application of this algorithm to real data. Materials and Methods: Data sets simulated according to various conditions. PSA and age values of 125 patients who were examined prostate biopsy with pre-diagnosis of prostate cancer in Gaziosmanpasa University Faculty of Medicine Department of Urology at the years of 2005 to 2007. An algorithm and code program was written that make simulation according to various condition using PROC IML procedure in SAS statistical software.Results: According to the simulation study, if biomarker indicators in healthy group are constant and are lower or equal in healthy group than/to disease group, both adjusted AUC (AdjAUC) and AUC have small values and, no significant difference was found between them. The AUC was significantly larger when the biomarker indicators in disease group were higher. In addition, if the correlation between the covariate and biomarker is high in disease group and if AUC is approximately 0.75, then there is significant difference between adjusted AUC and AUC. PSA (Prostate Specific Antigen), a biomarker used for prostate cancer diagnosis, was analyzed based on the adjustments by age. It was found that adjusted AUC value was higher than unadjusted AUC value. Conclusions: For the adjusted ROC model being applicable, covariate and biomarker distributions must show double binormal distribution. If the biomarker can distinguish disease and healthy individuals correctly, then covariate is not needed. If correlation of healthy is approaching to 0 and correlation of disease is 0.50, and if AUC is less than 0.75, then covariate must be included in the model. Model does not work well when sample size of disease and healthy are less than 50. 

Keywords

• Adjusted ROC,AUC,Covariate,PSA,Simulation

Ortak Değişkene Göre Düzeltilmiş ROC Eğrisi Yöntemi ve Bir Uygulama

Abstract

Amaç: Bu araştırmada, benzetim çalışmalarından yararlanarak düzeltilmiş ROC eğrisi altında kalan alanın belirli koşullardaki değişiminin iki değişkenli normal dağılım modeli ile incelenmesi ve bu algoritmanın gerçek verilerle uygulanması amaçlanmıştır. Gereç ve Yöntemler: Benzetimde kullanılacak veri seti farklı koşullar altında türetilmiştir. Gerçek uygulama verisi olarak Gaziosmanpaşa Üniversitesi Tıp Fakültesi Üroloji Anabilim Dalında 2005-2007 yılları arasında prostat kanseri ön tanısı için prostat biyopsisi yapılan 125 hastanın PSA değerleri ile yaşları kullanılmıştır. Algoritma ve kodlar farklı koşullardaki benzetim modellerine göre SAS istatistik yazılımında PROC IML prosedürü kullanılarak yazılmıştır. Bulgular: Benzetim çalışmasına göre, biomarker göstergeleri sağlam grupta sabit ve hasta grupta sağlam gruba göre daha düşük veya eşit ise hem AUC (ROC Eğrisi Altında Kalan Alan) hem de düzeltilmiş AUC’nin düşük değerler aldığı bulunmuş ancak aralarında önemli fark görülmemiştir. Hasta grupta daha yüksek biomarker göstergeleri olduğunda ROC eğrisi altında kalan alan belirgin şekilde yüksek bulunmuştur. Ayrıca biomarker ile ortak değişken arasındaki korelasyon hasta grupta yüksek ve AUC yaklaşık 0.75 ise düzeltilmiş AUC ile AUC arasındaki fark önemli bulunmuştur. Prostat Kanseri biomarker’ı olan PSA’yı yaşa göre düzeltilmiş olarak incelediğimizde, düzeltilmiş AUC değerinin düzeltilmemiş AUC değerine göre daha yüksek olduğu bulunmuştur. Sonuç: Düzeltilmiş ROC modelinin uygulanabilir olması için ortak değişken ile biomarker, dağılımlarının çift iki değişkenli normal dağılım göstermesi gerekmektedir. Biomarker, hasta ve sağlam ayrımını iyi yapıyorsa ek bir değişkene ihtiyaç duyulmamaktadır. Sağlam gruptaki korelasyon 0’a yaklaştıkça ve hasta gruptaki korelasyon 0.50 ise ve AUC 0.75 ve daha küçük ise ortak değişkenin modele katılması gerekir. Hasta ve sağlam gruplarda örnek büyüklüğü 50’den küçük olması durumunda model etkili biçimde çalışmamaktadır. 

Keywords

• Düzeltilmiş ROC, AUC, Ortak Değişken, PSA, Benzetim

References

1. Janes H. Adjusting for Covariate Effects in Biomarker Studies Using The Subject-Specific Threshold ROC Curve. University Of Washington 2005; Ph.D. Thesis:179.
2. Janes H, Pepe MS. Adjusting for covariate effects on classification accuracy using the covariate-adjusted receiver operating characteristic curve. Biometrika. 2009;96(2):371382.
3. Janes H, Pepe MS. Matching in studies of classification accuracy: implications for analysis, efficiency, and assessment of incremental value. Biometrics. 2008;64(1):19.
4. Ozdamar K. SPSS ile Biyoistatistik. Eskişehir, Turkey: Kaan Kitabevi; 2003.
5. Alonzo TA, Pepe MS. Distribution-free ROC analysis using binary regression techniques. Biostatistics. 2002;3(3):421432.
6. Cai TX, Pepe MS. Semiparametric receiver operating characteristic analysis to evaluate biomarkers for disease. Journal of the American Statistical Association. 2002;97(460):1099-1107.
7. Faraggi D. Adjusting receiver operating characteristic curves and related indices for covariates. J Roy Stat Soc D-Sta. 2003;52:179-192.
8. Ghosh D, Chinnaiyan AM. Covariate adjustment in the analysis of microarray data from clinical studies. Funct Integr Genomics. 2005;5(1):18-27.

9. Janes H, Pepe MS. Adjusting for covariates in studies of diagnostic, screening, or prognostic markers: an old concept in a new setting. Am J Epidemiol. 2008;168(1):89-97.
10. Janes H, Longton G, Pepe M. Accommodating Covariates in ROC Analysis. Stata J. 2009;9(1):17-39.
11. Le CT. Evaluation of confounding effects in ROC studies. Biometrics. 1997;53(3):998-1007.
12. Pepe MS. Three approaches to regression analysis of receiver operating characteristic curves for continuous test results. Biometrics. 1998;54(1):124-135.
13. Pepe MS. An interpretation for the ROC curve and inference using GLM procedures. Biometrics. 2000;56(2):352-359.
14. Pepe MS. The Statistical Evaluation of Medical Tests for Classification and Prediction. New York: Oxford University Press; 2003.
15. Schisterman EF, Faraggi D, Reiser B. Adjusting the generalized ROC curve for covariates. Stat Med. Nov 15 2004;23(21):3319-3331.
16. -
17. Toledano AY, Gatsonis C. Ordinal regression methodology for ROC curves derived from correlated data. Stat Med. 1996;15(16):1807-1826.
18. -
19. Tosteson AN, Begg CB. A general regression methodology for ROC curve estimation. Med Decis Making. 1988;8(3):204-215.
20. Cai T. Semi-parametric ROC regression analysis with placement values. Biostatistics. 2004;5(1):45-60.
21. Cai T, Moskowitz CS. Semi-parametric estimation of the binormal ROC curve for a continuous diagnostic test. Biostatistics. 2004;5(4):573-586.
22. Punglia RS, D'Amico AV, Catalona WJ, Roehl KA, Kuntz KM. Effect of verification bias on screening for prostate cancer by measurement of prostate-specific antigen. N Engl J Med. 2003;349(4):335-342.
23. Zhang Z. A Linear Regression Framework for Receiver Operating Characteristic(ROC) Curve Analysis. UW Biostatistics Working Paper Series, Working Paper:253. 2005.
24. Schisterman EF, Reiser B, Faraggi D. ROC analysis for markers with mass at zero. Stat Med. 2006;25(4):623-638.
25. Monson RM. Occupational Epidemiology. Boca Raton, Florida: CRC Press; 1980.