Comparison of Interrater Reliability Based on Different Theories for Autism Social Skills Profile

Year 2018, Volume: 9 Issue: 2, 202 - 215, 30.06.2018

Zeynep Pekin , Sevda Çetin , Neşe Güler

https://doi.org/10.21031/epod.388590

Cited By: 2

Abstract

In this study, interrater
reliability was compared based on both classical test theory and
generalizability theory according to the scores which were obtained from five
raters’ ratings with Autism Social Skills Profile. Levels of reliability
coefficients obtained from classical test theory and different designs in
generalizability theory formed by five raters’ jointly and alternatively
ratings were determined and which theory presented more information was tried
to be specified. In the classical test theory, Cronbach-Alpha (α) coefficient
for internal consistency, Kendall’s coefficient of concordance for inter-rater
reliability and correlation coefficients of five raters’ scores were calculated
and it was investigated whether there was a difference among the means of
raters’ scores with F test. In the generalizability theory, two different
designs were formed according to raters’ jointly and alternatively ratings.
Several G and D studies were made for crossed design pxixr (p: person, i: item
and r: rater) which people were scored by all raters through all items and
nested design (r:p)xi which people were scored by different raters through all
items and the results were compared to each other. 

Keywords

classical test theory, generalizability theory, interrater reliability, Kendall’s concordance coefficient

Otizm Sosyal Beceriler Profili Ölçeğinde Puanlayıcılar Arası Güvenirliğin Farklı Kuramlara Göre Karşılaştırılması

Abstract

Bu
araştırmada, “Otizm Sosyal Beceriler Profili” (OSBP) ölçeğinin beş puanlayıcı
tarafından puanlanması ile elde edilen puanların klasik test kuramı ve
genellenebilirlik (G) kuramı ile puanlayıcılar arası güvenirliğinin
karşılaştırılması amaçlanmıştır. G kuramında puanlayıcıların birlikte ve
dönüşümlü puanlama yapmasıyla oluşturulan farklı desenlerden ve klasik test
kuramından elde edilen güvenirlik katsayılarının düzeyleri saptanmış ve hangi
kuramın daha fazla bilgi sunduğu belirlenmeye çalışılmıştır. Araştırmada elde
edilen veriler klasik test kuramında her bir puanlayıcı için puanların iç
tutarlılık güvenirliği Cronbach-alfa (α) katsayısı; puanlayıcılar arası
güvenirlik, Kendall’ın uyuşum katsayısı, puanlayıcılar arası korelasyon
katsayısı ve puanlayıcıların verdikleri puanlar arasında fark olup olmadığı ise
ilişkili örneklemlerde varyans analizi ile hesaplanmıştır. Genellenebilirlik
teorisinde, değerlendiricilerin ortaklaşa ve alternatif derecelendirmelerine
göre iki farklı tasarım oluşturulmuştur. G kuramı kapsamında bireylerin (b) aynı maddeler (m) doğrultusunda puanlayıcıların (p) her biri tarafından puanlandığı bxmxp çapraz deseni ve bireylerin tüm maddeler doğrultusunda farklı
puanlayıcılar tarafından puanlandığı (p:b)xm yuvalanmış deseni için ayrı ayrı G ve
K çalışmaları yapılmış ve sonuçlar birbirleriyle karşılaştırılmıştır.

Keywords

genellenebilirlik kuramı, puanlayıcılar arası güvenirlik, Kendall’ın uyuşum katsayısı, Klasik test kuramı, sosyal becerilerin değerlendirilmesi

References

• Girli, A., & Atasoy, S. (2010). Examining the effectiveness of social skills training program based on cognitive process approach among inclusion students with autism. Elementary Education Online, 9(3), 990-1006.
• Polat-Demir, B. (2016). Vee diyagramından elde edilen puanların güvenirliğinin klasik test kuramı ve genellenebilirlik kuramına göre incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 7(2), 419-431.
• Güler, N. (2008). Klasik test kuramı genellenebilirlik kuramı ve Rasch modeli üzerine bir araştırma. Yayımlanmamış doktora tezi. Hacettepe Üniversitesi, Ankara.
• Güler, N., ve Gelbal S. (2010). Açık uçlu matematik sorularının güvenirliğinin klasik test kuramı ve genellenebilirlik kuramına göre incelenmesi. Kuram ve Uygulamada Eğitim Bilimleri Dergisi, 10(2), 989–1019.
• Alkan, M. (2013). PISA 2009 okuma becerileri açık uçlu sorularının puanlanmasında genellenebilirlik kuramındaki farklı desenlerin karşılaştırılması. Yayımlanmamış doktora tezi. Hacettepe Üniversitesi, Ankara.
• Güler, N. (2011). Rasgele veriler üzerinde genellenebilirlik kuramı ve klasik test kuramına göre güvenirliğin karşılaştırılması. Eğitim ve Bilim, 36(162), 225-234.
• Güler, N., Uyanık, G. K., ve Teker, G. T. (2012). Genellenebilirlik Kuramı. Ankara: Pegem Akademi
• Hall, J. A., Schlesinger, D. J., & Dieen, J. P. (1997). Social skills training in group with developmentally disabled adults. Research on Social Work Practice, 7(2), 187-201.
• Howell, D. C. (2009). Statistical methods for psychology. (7th Edition). USA: Thomson Learning Academic Research Center.
• Kieffer, K. M., (1998). Why generalizability theory is essential and classical test theory is often inadequate? Paper presented at the annual meeting of the Southwestern Psychological Association. New Orleans, LA. USA.
• Bellini, S., & Hopf, A. (2007). The development of the autism social skills profile: A preliminary analysis of psyhometric properties. Focus on Autism and Other Developmental Disabilities, 22(2), 80–87.
• Kırcaali-İftar, G. (2012). Otizm spektrum bozukluğuna genel bakış. E. Tekin-İftar (Ed). Otizm spektrum bozukluğu olan çocuklar ve eğitimleri, 17-46. Ankara: Vize Yayıncılık.
• Lord, F. M., & Novick, R. M. (1968). Statistical theories of mental test scores. California: Addison-Wesley Publishing Company.
• Eason, S. H. (1989). Why generalizability theory yields beter results than classical test theory. Mid-South Educational Research Association Annual Meeting, 8-10 November 1989.
• Mushquash, C., & O'Connor, B. P. (2006). SPSS And SAS programs for generalizability theory analyses. Behavior Research Methods, 38(3), 542-547.
• Nalbantoğlu, F. (2009). Performans ölçümlerinde genellenebilirlik kuramıyla farklı desenlerin karşılaştırılması. Yayımlanmamış yüksek lisans tezi. Hacettepe Üniversitesi, Ankara.
• Özdemir, O., Diken, İ. H., Diken, Ö. ve Şekercioğlu, G. (2013). Otizm Davranış Kontrol Listesi (Autism Behavior Checklist-ABC) modifiye edilmiş Türkçe versiyonunun geçerlik ve güvenirlik çalışması: pilot uygulama sonuçları. International Journal of Early Childhood Special Education (INT-JECSE), 5(2), 168-186.
• Öztürk, M. E. (2011). Voleybol Becerileri Gözlem Formu ile elde edilen puanların genellenebilirlik ve klasik test kuramına göre karşılaştırılması. Yayımlanmamış doktora tezi. Hacettepe Üniversitesi, Ankara.
• Rae, G., & Hyland, P. (2001). Generalisability and classical test theory analyses of Koppitz’s Scoring System for human figure drawing. British Journal of Educational Psychology, 71, 369-382.
• Shavelson, R. J., & Webb, N. M. (1991). Generalizability theory: a primer. New-York: Springer.
• Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: klasik test teorisi ve uygulaması. Ankara: ÖSYM Yayınları.
• Irmak, T. Y., Sütçü, S. T., Aydın, A., & Sorias, O. (2007). Otizm davranış kontrol listesinin (abc) geçerlik ve güvenirliğinin incelenmesi. Çocuk ve Gençlik Ruh Sağlığı Dergisi, 14(1), 13-23
• Sucuoğlu, B., & Demir, Ş. (2017). Bağlamsal Değerlendirme Envanteri: otizmli bireylerin problem davranışlarının bağlamsal değişkenleri. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Özel Eğitim Dergisi, 8(2), 209-224.
• Turgut, M. F. ve Baykul, Y. (2014). Eğitimde ölçme ve değerlendirme. (6. Baskı). Ankara: Pegem Akademi.
• Yelboğa, A., ve Tavşancıl, E. (2010). Klasik test ve genellenebilirlik kuramına göre güvenirliğin bir iş performansı ölçeği üzerinde incelenmesi. Kuram ve Uygulamada Eğitim Bilimleri, 10(3), 1825-1854
• Yıldıztekin, B. (2014). Klasik test teoremi ve genellenebilirlik kuramından puanlayıcılar arası tutarlılığın farklı yöntemlere göre karşılaştırılması. Yayımlanmamış yüksek lisans tezi. Hacettepe Üniversitesi, Ankara.
• Brennan, R. L. (2001). Generalizability theory. New York: Springer-Verlog.
• Cardinet, J., Johnson, S., & Pini, G. (2009). Applying generalizability theory using eduG (Quantitative methodology series). New York, London: Routledge.
• Goodwin, L. D. (2001). Interrater agreement and reliability. Measurement in Psychical Education and Exercises Science, 5(1), 13-34.
• Combs, H.L., & Slaby, D.A. (1977). Social skills training with children. In B.B. Lahey & A.E. Kazdin (Eds.), Advances in clinical childpsy- chology (Vol. 1, pp. 161-201). New York: Plenum.
• Crocker, L. M., & Algina, L. (1986). Introduction to classical and modern test theory. New York: Holt, Rinehart and Winston.
• Deliceoğlu, G., & Çıkrıkçı-Demirtaşlı, N. (2012). Futbol yetilerine ilişkin dereceleme ölçeğinin güvenirliğinin genellenebilirlik kuramına ve klasik test kuramına dayalı olarak karşılaştırılması. Spor Bilimleri Dergisi, 23(1), 1-12
• Demir, Ş. (2009). Otizmli çocukların sosyal becerilerinin farklı değişkenler açısından değerlendirilmesi. Yayımlanmamış yüksek lisans tezi. Ankara Üniversitesi, Ankara.