A Generalizability Analysis of the Reliability of Measurements: "An Example of Cell Division and Heredity Unit"

Abstract

The purpose of the study is to measure students' performance through different measurement tools and compare the findings through G Theory in order to identify the errors associated with the raters and items to improve the future applications. The sample consisted of 48 eighth graders in Kars. Two different types of exams (a multiple choice test and an essay) were applied and essays were graded by three raters. G and K analyses were performed on the results. According to the findings, the error rate was higher for the essays in comparison to multiple-choice test. The mean score was higher for the multiple-choice test, the variances were similar. There were no differences among the essay scores given by different raters. Findings of decision study indicated Student facet as the main source of the variation in the data for both types of the measurements. 

Keywords

• Measurement,Generalizability Theory,Reliability

Bir Genellenebilirlik Analizi Çalışması: “Hücre Bölünmesi & Kalıtım Ünitesi”

Öz

Araştırmanın amacı, aynı konu alanı ile farklı ölçme araçlarından elde edilen puanların G Kuramı ile karşılaştırılmasıdır. Örneklem Kars’ta öğretim gören 48 sekizinci sınıf öğrencisinden oluşmuştur. İki farklı sınav türü (çoktan seçmeli test ve yazılı sınav) öğrencilere uygulanmış ve yazılı sınav üç puanlayıcı tarafından puanlanmış, sonuçlar üzerinde G ve K analizleri yapılmıştır. Sonuçlar çoktan seçmeli test ve yazılı sınav için karışan hata varyanslarının yazılı sınavda daha fazla olduğunu, çoktan seçmeli testin puan ortalamasının daha yüksek olduğunu, varyansların ise iki sınav türü için birbirine yakın olduğunu ortaya koymuştur. Yazılı sınav için puanlayıcılar arasında herhangi bir fark bulunmamıştır. Ayrıca, karar çalışmasından elde edilen sonuçlar verideki varyansın ana kaynağının Öğrenci faktörü olduğunu ortaya koymuştur.

Anahtar Kelimeler

• Ölçme,Genellenebilirlik Kuramı,Güvenirlik

References

1. Aiken, L.R. (1991). Psychological testing and assessment (7. baskı). Boston: Allyn and Bacon.
2. Alharby, E.R. (2006). A comparison between two scoring methods, holistic vs. Analytic using two measurement models, the Generalizability Theory and the many facet Rasch measurement within the context of performance assessment. Unpublished doctoral dissertation. The Pennsylvania State University Faculty of Education, Pennsylvania.
3. Alkahtani, S.F. (2012). Oral performace scoring using generalizability Theory and many-facet Rasch measurement: a comparison study. Unpublished doctoral dissertation. The Pennsylvania State University, Pennsylvania.
4. Atılgan, H. (2004). Genellenebilirlik Kuramı ve çok değişkenlik kaynaklı rasch modelinin karşılaştırılmasına ilişkin bir araştırma. Yayınlanmamış doktora tezi. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
5. Au, F., Prahardhi, S., & Shiell, A. (2008). Reliability of two instruments for critical assessment of economic evaluations. Value in Health, 11, 435- 439.
6. Başol, G. (2008). Bilimsel araştırma süreci ve yöntem. İçinde Kılıç, O. & Cinoğlu M. (Ed.), Bilimsel araştırma yöntemleri, Bölüm 5, İstanbul: Lisans Yayıncılık.
7. Başol, G. (2016). Eğitimde ölçme ve değerlendirme. Genişletilmiş 4. Baskı, Ankara: Pegem Yayıncılık.
8. Bottema-Beutel, K., Lloyd, B., Carter, E.W. & Asmus, J.M. (2014). Generalizability and decision studies to inform observational and experimental research in classroom settings. American Journal on Intellectual and Developmental Disabilitie, 119(6), 589–605.

9. Brennan, R.L. (2001). Generalizability Theory. New York: Springer-Verlag.
10. Brooks, G.P. & Johanson, G.A. (2003). Test Analysis Program. Applied Psychological Measurement, 27, 305-306.
11. Brown, J.D., (2005). Generalizability and decision studies. SHIKEN: JALT Testing&Evaluation SIG Newsletter. 9(1), 12 – 16.
12. Burns, K.J. (1998). Beyond classical reliability: Using Generalizability Theory to assess dependability. Research in Nursing and Healty, 21, 83-90.
13. Burton, E.B. (1998). An investigation of the school-level generalizability of performance assessment results. Unpublished doctoral dissertation. Rutgers University, New Jersey.
14. Çakıcı Eser, D. (2011). Genellenebilirlik Kuramı ve lojistik regresyona dayalı hesaplanan puanlayıcılar arası tutarlığın karşılaştırılması. Yayınlanmamış yüksek lisans tezi. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
15. EduG 2012 software. EduG version 6.1-e, Generalizability Study. Société Suisse pour la Recherche en Education, Groupe de travail Edumétrie – Qualité de l’évaluation en éducation; software prepared by Maurice Dalois and Léo Laroche, Educan Inc., Longueuil, Quebec, Canada.
16. Gao, X. & Brennan, R.L. (2001). Variability of estimated variance components and related statistics in a performance assessment. Applied Measurement in Education, 14, 191-203.
17. Güler, N. (2008). Klasik Test Kuramı, Genellenebilirlik Kuramı ve Rasch modeli üzerine bir araştırma. Yayınlanmamış doktora tezi. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
18. Güler, N. (2009). Genellenebilirlik Kuramı ve SPSS ile GENOVA programlarıyla hesaplanan G ve K çalışmalarına ilişkin sonuçların karşılaştırılması. Eğitim ve Bilim, 34, 154.
19. Güler, N., Kaya Uyanık, G. ve Taşdelen Teker, G. (2012). Genellenebilirlik Kuramı. Ankara: Pegem Yayıncılık.
20. Kaya, G. (2011). Genellenebilirlik Kuramının doldurma kavram haritası değerlendirme çalışmasına uygulanması. Yayınlanmamış yüksek lisans tezi. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
21. Moon, S.Y. (1995). Performance assessment: Measurement ıssues of generalizability, dependability of scoring and relative information on student performance. Unpublished doctoral dissertation. The Florida State University, Tallahassee.
22. Mushquash, C. & O’Connor, B. P. (2006). SPSS and SAS programs for Generalizability Theory analysis. Behavior Research Methods. 38(3), 542-547.
23. Nalbantoğlu, F. (2009). Performans ölçümlerinde Genellenebilirlik Kuramıyla farklı desenlerin karşılaştırılması. Yayınlanmamış yüksek lisans tezi. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
24. O’ Neill & O’ Neill (2015). Improving QST reliability-moreraters, tests, oroccasions? A multivariate generalizability study. The Journal of Pain, 16(5), 454-462.
25. Rentz, J.O. (1987). Generalizability Theory: a comprehensive method for assessing and improving the dependability of marketing measures. Journal of Marketing Research, 24(1), 19-28.
26. Shavelson, R.J. & Webb, N.M. (1981). Generalizability Theory: 1973–1980. British Journal of Mathematical and Statistical Psychology, 34, 133–166.
27. Shavelson, R. J., & Webb, N. M. (1991). Generalizability Theory: A primer. Newbury Park, CA: Sage.
28. Shavelson, R.J. & Webb, N.M. (2005). Generalizability Theory. Web: http://web.stanford.edu/dept/SUSE/SEAL/Reports_Papers/methods_papers/G%20Theory%20AERA.pdf adresinden alınmıştır.
29. Senemoğlu, N. (2002). Gelişim öğrenme ve öğretim: kuramdan uygulamaya. Ankara: Gazi Kitapevi.
30. SPSS Inc. Released 2007. SPSS for Windows, Version 16.0. Chicago, SPSS Inc.
31. Solano-Flores, G. & Li, M. (2006). The use of Generalizability (G) Theory in the testing of linguistic minorities. Educational Measurement: Issues and Practice, 25(1), 13-22.
32. Suen, H.K., & Lei, P.W. (2007). Classical versus Generalizability Theory of measurement. Educational Measurement, 4, 1-13.
33. Tekindal, S. (Ed.) (2011). Eğitimde ölçme ve değerlendirme, Ankara: PegemA Yayıncılık.
34. Turgut, M.F. ve Baykul, Y. (2010). Eğitimde ölçme değerlendirme. Ankara: Pegem Yayıncılık.
35. Wang, Z. (2005). Estimating reliability under a Generalizability Theory model for writing scores in C-base. Yayınlanmamış doktora tezi. University of Missouri, Columbia.
36. Yelboğa, A. (2007). Klasik Test Kuramı ve Genellenebilirlik Kuramına göre güvenirliğin bir iş performansı ölçeği üzerinde incelenmesi. Yayınlanmamış doktora tezi. Ankara Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.