Çok Testli Çok Değerlendiricili ROC Çalışmalarında Kullanılan Yöntemlerin Karşılaştırılması

Öz

Abstract Comparison of the Methods Used in Multi-Case Multi-Reader ROC Studies Objective: The goals of this study are to compare the methods used in diagnostic accuracy studies in which both multi-case and multi-reader methods are employed, and to make useful suggestions for the proper use of these methods. Material and Methods: When diagnosis tests are carried out by a single reader, they might have subjectivity based upon the reader\'s personal decisions. The readers\' performance is related to their experiences, education and present states of the cases. Therefore, while the accuracy of the diagnostic tests is discussed, the reports of multi-readers should be taken into consideration within the scope of the model. There are five different methods used in multi-case and multi-reader tests of diagnostic accuracy studies. Results: There are models dealing with the results of both multi-reader and multi diagnosis tests demonstrating the accuracy. These models were compared and presented in the tables. Conclusion: The most common models are DBM (Dorfman Berbaum Metz) and OR (Obuchowski ve Rockette) methods.

Anahtar Kelimeler

• DBM; OR; multi reader multi case receiver operating curve

Çok Testli Çok Değerlendiricili ROC Çalışmalarında Kullanılan Yöntemlerin Karşılaştırılması

Öz

Türkçe Özet: Amaç: Bu çalışmanın amacı hem çoklu değerlendiricinin hem de çoklu tanı testlerinin var olduğu diagnostik doğruluk çalışmalarındaki yöntemleri karşılaştırmak ve yöntemler hakkında öneride bulunmaktır. Gereç ve Yöntem: Tanı testleri tek bir değerlendirici ile yapıldığında değerlendiricinin kişisel kararlarına bağlı olarak subjektiflik içerebilir. Değerlendiricilerin performansı değerlendiricilerin deneyimleri, eğitimleri ve vakaların mevcut durumlarıyla ile ilgilidir. Bu nedenle diagnostik testlerin doğruluğu tartışılırken çoklu değerlendiricilerin raporları da modelde ele alınmalıdır. Çok testli çok değerlendiricili diagnostik doğruluk çalışmalarında kullanılabilecek beş farklı yöntem vardır. Bulgular: Hem çoklu değerlendirici hem de çoklu tanı testi sonuçlarının ele alındığı doğruluğu ortaya koyan modeller mevcuttur. Bu modeller karşılaştırılmış ve tablo halinde sunulmuştur. Sonuç: Bu modellerden en yaygın kullanılanları DBM (Dorfman Berbaum Metz) ve OR (Obuchowski ve Rockette) metodudur.

Anahtar Kelimeler

• DBM; OR; çok testli çok değerlendiricili eğri altında kalan alan

Kaynakça

1. Hanley JA. McNeil 8]. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 1982;143:2936.
2. Obuchowski NA. Roekette HE. Hypothesis testing of the diagnostic accuracy for multiple diagnostic tests: an approach with dependent observations. Common Stat Sirri“ Coamptttrttiwi l995:24:285-3()8. Hillis SL, Berbaum. KS. Power estimation for the Dorfman—Bcrbaum—Mctz method. Academic Radiology ;l 1 : 1 260—73. Hillis SL. Monte Carlo validation of the Dorfman— Berbaum-Metz Method using normalized pseudovalues and less data-based model simplification. Academic Radiology 2005;12:1534—41.
3. Hillis LS, Berbaum KS.. Metz CE. Recent developments in the dorfman-berbaum-metz procedure for multireader roc study analysis. Academic Radiology 2008: l 5:647-6l.
4. Song HH. Analysis of correlated ROC areas in diagnostic testing. Biometrics 1997;53:370-82.
5. Ishwamn H, Gatsonis CA. A general class ol' hierarchical ordinal regression models with applications to correlated ROC analysis. Can J Siar 20002817?) 1-50.
6. Wang F, Gatsonis CA. Hierarchical models for roc curve summary mesures: design and analysis of multi-reader. multi—modality studies ot” medical tests. Statistics in Medicine 2008;27:243-56.
7. Toledano AY. Three methods for analysing correlated roc curves: 2) comprasion in real data sets from multi-reader. multi-case studies with a factorial design. Statistics in Medicine 2003;22:2919-33.
8. Obuchowski NA, Belden SV, Berbaum SK, Hills SL. lshwaran H, Song HH, Wagner RF. Multireader multicase Obttchowski NA. New methodological tools for multiple- reader ROC studies. Radiology 2007:243:lO-2.

9. LABMRMC. Erişim adresi: http:/lmetz— roc.uchicagoedu/MetzROC/software Erişim Tarihi: | DBM MRMCErişim Adresi: http:/lperception.radiology.uiowa.chISol'twarefReceiverO OBUMRM. Erişim adresi: http: www.lerner.ccf.tJrglqhs/software obumrm.php Erişim Tarihi: 1 Temmuz 201 1.