In this study, interrater
reliability was compared based on both classical test theory and
generalizability theory according to the scores which were obtained from five
raters’ ratings with Autism Social Skills Profile. Levels of reliability
coefficients obtained from classical test theory and different designs in
generalizability theory formed by five raters’ jointly and alternatively
ratings were determined and which theory presented more information was tried
to be specified. In the classical test theory, Cronbach-Alpha (α) coefficient
for internal consistency, Kendall’s coefficient of concordance for inter-rater
reliability and correlation coefficients of five raters’ scores were calculated
and it was investigated whether there was a difference among the means of
raters’ scores with F test. In the generalizability theory, two different
designs were formed according to raters’ jointly and alternatively ratings.
Several G and D studies were made for crossed design pxixr (p: person, i: item
and r: rater) which people were scored by all raters through all items and
nested design (r:p)xi which people were scored by different raters through all
items and the results were compared to each other.
classical test theory generalizability theory interrater reliability Kendall’s concordance coefficient
Bu
araştırmada, “Otizm Sosyal Beceriler Profili” (OSBP) ölçeğinin beş puanlayıcı
tarafından puanlanması ile elde edilen puanların klasik test kuramı ve
genellenebilirlik (G) kuramı ile puanlayıcılar arası güvenirliğinin
karşılaştırılması amaçlanmıştır. G kuramında puanlayıcıların birlikte ve
dönüşümlü puanlama yapmasıyla oluşturulan farklı desenlerden ve klasik test
kuramından elde edilen güvenirlik katsayılarının düzeyleri saptanmış ve hangi
kuramın daha fazla bilgi sunduğu belirlenmeye çalışılmıştır. Araştırmada elde
edilen veriler klasik test kuramında her bir puanlayıcı için puanların iç
tutarlılık güvenirliği Cronbach-alfa (α) katsayısı; puanlayıcılar arası
güvenirlik, Kendall’ın uyuşum katsayısı, puanlayıcılar arası korelasyon
katsayısı ve puanlayıcıların verdikleri puanlar arasında fark olup olmadığı ise
ilişkili örneklemlerde varyans analizi ile hesaplanmıştır. Genellenebilirlik
teorisinde, değerlendiricilerin ortaklaşa ve alternatif derecelendirmelerine
göre iki farklı tasarım oluşturulmuştur. G kuramı kapsamında bireylerin (b) aynı maddeler (m) doğrultusunda puanlayıcıların (p) her biri tarafından puanlandığı bxmxp çapraz deseni ve bireylerin tüm maddeler doğrultusunda farklı
puanlayıcılar tarafından puanlandığı (p:b)xm yuvalanmış deseni için ayrı ayrı G ve
K çalışmaları yapılmış ve sonuçlar birbirleriyle karşılaştırılmıştır.
genellenebilirlik kuramı puanlayıcılar arası güvenirlik Kendall’ın uyuşum katsayısı Klasik test kuramı sosyal becerilerin değerlendirilmesi
Primary Language | Turkish |
---|---|
Journal Section | Articles |
Authors | |
Publication Date | June 30, 2018 |
Acceptance Date | May 18, 2018 |
Published in Issue | Year 2018 Volume: 9 Issue: 2 |