Comparison of Interrater Reliability Based on Different Theories for Autism Social Skills Profile

Abstract

In this study, interrater reliability was compared based on both classical test theory and generalizability theory according to the scores which were obtained from five raters’ ratings with Autism Social Skills Profile. Levels of reliability coefficients obtained from classical test theory and different designs in generalizability theory formed by five raters’ jointly and alternatively ratings were determined and which theory presented more information was tried to be specified. In the classical test theory, Cronbach-Alpha (α) coefficient for internal consistency, Kendall’s coefficient of concordance for inter-rater reliability and correlation coefficients of five raters’ scores were calculated and it was investigated whether there was a difference among the means of raters’ scores with F test. In the generalizability theory, two different designs were formed according to raters’ jointly and alternatively ratings. Several G and D studies were made for crossed design pxixr (p: person, i: item and r: rater) which people were scored by all raters through all items and nested design (r:p)xi which people were scored by different raters through all items and the results were compared to each other. 

Keywords

• classical test theory,generalizability theory,interrater reliability,Kendall’s concordance coefficient

Otizm Sosyal Beceriler Profili Ölçeğinde Puanlayıcılar Arası Güvenirliğin Farklı Kuramlara Göre Karşılaştırılması

Abstract

Bu araştırmada, “Otizm Sosyal Beceriler Profili” (OSBP) ölçeğinin beş puanlayıcı tarafından puanlanması ile elde edilen puanların klasik test kuramı ve genellenebilirlik (G) kuramı ile puanlayıcılar arası güvenirliğinin karşılaştırılması amaçlanmıştır. G kuramında puanlayıcıların birlikte ve dönüşümlü puanlama yapmasıyla oluşturulan farklı desenlerden ve klasik test kuramından elde edilen güvenirlik katsayılarının düzeyleri saptanmış ve hangi kuramın daha fazla bilgi sunduğu belirlenmeye çalışılmıştır. Araştırmada elde edilen veriler klasik test kuramında her bir puanlayıcı için puanların iç tutarlılık güvenirliği Cronbach-alfa (α) katsayısı; puanlayıcılar arası güvenirlik, Kendall’ın uyuşum katsayısı, puanlayıcılar arası korelasyon katsayısı ve puanlayıcıların verdikleri puanlar arasında fark olup olmadığı ise ilişkili örneklemlerde varyans analizi ile hesaplanmıştır. Genellenebilirlik teorisinde, değerlendiricilerin ortaklaşa ve alternatif derecelendirmelerine göre iki farklı tasarım oluşturulmuştur. G kuramı kapsamında bireylerin (b) aynı maddeler (m) doğrultusunda puanlayıcıların (p) her biri tarafından puanlandığı bxmxp çapraz deseni ve bireylerin tüm maddeler doğrultusunda farklı puanlayıcılar tarafından puanlandığı (p:b)xm yuvalanmış deseni için ayrı ayrı G ve K çalışmaları yapılmış ve sonuçlar birbirleriyle karşılaştırılmıştır.

Keywords

• genellenebilirlik kuramı,puanlayıcılar arası güvenirlik,Kendall’ın uyuşum katsayısı,Klasik test kuramı,sosyal becerilerin değerlendirilmesi

References

1. Girli, A., & Atasoy, S. (2010). Examining the effectiveness of social skills training program based on cognitive process approach among inclusion students with autism. Elementary Education Online, 9(3), 990-1006.
2. Polat-Demir, B. (2016). Vee diyagramından elde edilen puanların güvenirliğinin klasik test kuramı ve genellenebilirlik kuramına göre incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 7(2), 419-431.
3. Güler, N. (2008). Klasik test kuramı genellenebilirlik kuramı ve Rasch modeli üzerine bir araştırma. Yayımlanmamış doktora tezi. Hacettepe Üniversitesi, Ankara.
4. Güler, N., ve Gelbal S. (2010). Açık uçlu matematik sorularının güvenirliğinin klasik test kuramı ve genellenebilirlik kuramına göre incelenmesi. Kuram ve Uygulamada Eğitim Bilimleri Dergisi, 10(2), 989–1019.
5. Alkan, M. (2013). PISA 2009 okuma becerileri açık uçlu sorularının puanlanmasında genellenebilirlik kuramındaki farklı desenlerin karşılaştırılması. Yayımlanmamış doktora tezi. Hacettepe Üniversitesi, Ankara.
6. Güler, N. (2011). Rasgele veriler üzerinde genellenebilirlik kuramı ve klasik test kuramına göre güvenirliğin karşılaştırılması. Eğitim ve Bilim, 36(162), 225-234.
7. Güler, N., Uyanık, G. K., ve Teker, G. T. (2012). Genellenebilirlik Kuramı. Ankara: Pegem Akademi
8. Hall, J. A., Schlesinger, D. J., & Dieen, J. P. (1997). Social skills training in group with developmentally disabled adults. Research on Social Work Practice, 7(2), 187-201.

9. Howell, D. C. (2009). Statistical methods for psychology. (7th Edition). USA: Thomson Learning Academic Research Center.
10. Kieffer, K. M., (1998). Why generalizability theory is essential and classical test theory is often inadequate? Paper presented at the annual meeting of the Southwestern Psychological Association. New Orleans, LA. USA.
11. Bellini, S., & Hopf, A. (2007). The development of the autism social skills profile: A preliminary analysis of psyhometric properties. Focus on Autism and Other Developmental Disabilities, 22(2), 80–87.
12. Kırcaali-İftar, G. (2012). Otizm spektrum bozukluğuna genel bakış. E. Tekin-İftar (Ed). Otizm spektrum bozukluğu olan çocuklar ve eğitimleri, 17-46. Ankara: Vize Yayıncılık.
13. Lord, F. M., & Novick, R. M. (1968). Statistical theories of mental test scores. California: Addison-Wesley Publishing Company.
14. Eason, S. H. (1989). Why generalizability theory yields beter results than classical test theory. Mid-South Educational Research Association Annual Meeting, 8-10 November 1989.
15. Mushquash, C., & O'Connor, B. P. (2006). SPSS And SAS programs for generalizability theory analyses. Behavior Research Methods, 38(3), 542-547.
16. Nalbantoğlu, F. (2009). Performans ölçümlerinde genellenebilirlik kuramıyla farklı desenlerin karşılaştırılması. Yayımlanmamış yüksek lisans tezi. Hacettepe Üniversitesi, Ankara.
17. Özdemir, O., Diken, İ. H., Diken, Ö. ve Şekercioğlu, G. (2013). Otizm Davranış Kontrol Listesi (Autism Behavior Checklist-ABC) modifiye edilmiş Türkçe versiyonunun geçerlik ve güvenirlik çalışması: pilot uygulama sonuçları. International Journal of Early Childhood Special Education (INT-JECSE), 5(2), 168-186.
18. Öztürk, M. E. (2011). Voleybol Becerileri Gözlem Formu ile elde edilen puanların genellenebilirlik ve klasik test kuramına göre karşılaştırılması. Yayımlanmamış doktora tezi. Hacettepe Üniversitesi, Ankara.
19. Rae, G., & Hyland, P. (2001). Generalisability and classical test theory analyses of Koppitz’s Scoring System for human figure drawing. British Journal of Educational Psychology, 71, 369-382.
20. Shavelson, R. J., & Webb, N. M. (1991). Generalizability theory: a primer. New-York: Springer.
21. Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: klasik test teorisi ve uygulaması. Ankara: ÖSYM Yayınları.
22. Irmak, T. Y., Sütçü, S. T., Aydın, A., & Sorias, O. (2007). Otizm davranış kontrol listesinin (abc) geçerlik ve güvenirliğinin incelenmesi. Çocuk ve Gençlik Ruh Sağlığı Dergisi, 14(1), 13-23
23. Sucuoğlu, B., & Demir, Ş. (2017). Bağlamsal Değerlendirme Envanteri: otizmli bireylerin problem davranışlarının bağlamsal değişkenleri. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Özel Eğitim Dergisi, 8(2), 209-224.
24. Turgut, M. F. ve Baykul, Y. (2014). Eğitimde ölçme ve değerlendirme. (6. Baskı). Ankara: Pegem Akademi.
25. Yelboğa, A., ve Tavşancıl, E. (2010). Klasik test ve genellenebilirlik kuramına göre güvenirliğin bir iş performansı ölçeği üzerinde incelenmesi. Kuram ve Uygulamada Eğitim Bilimleri, 10(3), 1825-1854
26. Yıldıztekin, B. (2014). Klasik test teoremi ve genellenebilirlik kuramından puanlayıcılar arası tutarlılığın farklı yöntemlere göre karşılaştırılması. Yayımlanmamış yüksek lisans tezi. Hacettepe Üniversitesi, Ankara.
27. Brennan, R. L. (2001). Generalizability theory. New York: Springer-Verlog.
28. Cardinet, J., Johnson, S., & Pini, G. (2009). Applying generalizability theory using eduG (Quantitative methodology series). New York, London: Routledge.
29. Goodwin, L. D. (2001). Interrater agreement and reliability. Measurement in Psychical Education and Exercises Science, 5(1), 13-34.
30. Combs, H.L., & Slaby, D.A. (1977). Social skills training with children. In B.B. Lahey & A.E. Kazdin (Eds.), Advances in clinical childpsy- chology (Vol. 1, pp. 161-201). New York: Plenum.
31. Crocker, L. M., & Algina, L. (1986). Introduction to classical and modern test theory. New York: Holt, Rinehart and Winston.
32. Deliceoğlu, G., & Çıkrıkçı-Demirtaşlı, N. (2012). Futbol yetilerine ilişkin dereceleme ölçeğinin güvenirliğinin genellenebilirlik kuramına ve klasik test kuramına dayalı olarak karşılaştırılması. Spor Bilimleri Dergisi, 23(1), 1-12
33. Demir, Ş. (2009). Otizmli çocukların sosyal becerilerinin farklı değişkenler açısından değerlendirilmesi. Yayımlanmamış yüksek lisans tezi. Ankara Üniversitesi, Ankara.