-

Abstract

Rater group, who give judgments about cutting scores, is the most important factor of the standard setting procedures. Reliability of the cutoff score(s), will be directly affected by the consistency of the raters’ judgments. In this study, performance of school teachers and domain experts were compared within the scope of the Generalizability Theory during the standard setting procedure. With this comparison, it was aimed to demonstrate the effect of rater qualifications on cutoff scores. 1-0 and Nedelsky methods which are two of the student centered standard setting methods were adopted in this study. The data that had been collected from raters was analyzed with single and multiple facet crossed designs. According to results of the analyses that were conducted under different designs, it was seen that domain experts gave more consistent judgments compared to school teachers; but this distinction was not so notable. More detailed findings such as G and Phi coefficients of decision studies were also covered in the subsequent sections

Keywords

• standard setting, 1-0 method, Nedelsky method, generalizability theory, rater consistency

Puanlayıcı Niteliklerinin Kesme Puanlarının Belirlenmesine Etkisinin Genellenebilirlik Kuramı’yla İncelenmesi

Abstract

Standart belirleme süreçlerinde en önemli unsur, kesme puanları hakkında yargıda bulunan puanlayıcı grubudur. Puanlayıcı yargılarının tutarlı olması, belirlenecek kesme puanı veya puanlarının güvenirliğini doğrudan etkileyecektir. Bu çalışmada, okul öğretmenleri ve alan uzmanları olmak üzere farklı nitelikteki iki puanlayıcı grubunun standart belirleme sürecindeki performansları Genellenebilirlik Kuramı çerçevesinde karşılaştırılmış; böylece puanlayıcı niteliklerinin kesme puanları üzerindeki etkisinin ortaya konulması amaçlanmıştır. Çalışmada test merkezli standart belirleme yöntemlerinden 1-0 ve Nedelsky yöntemleri ele alınmış ve elde edilen veriler tek ve iki değişkenlik kaynaklı tümüyle çaprazlanmış desenler ile analiz edilmiştir. Elde edilen bulgularda ,her iki standart belirleme yönteminde uzman grubunun öğretmen grubuna göre belirgin olmamakla beraber daha tutarlı yargılar verdiği görülmüş; bu bulgular hesaplanan G ve Phi katsayılarıyla da desteklenmiştir.

 

Keywords

• standart belirleme, 1-0 yöntemi, Nedelsky yöntemi, genellenebilirlik kuramı, puanlayıcı tutarlılığı

References

1. American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (1999). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
2. Brennan, R. L. (2001). Generalizability theory. New York: Springer Verlag.
3. Büyüköztürk, Ş., Çakmak, E., Akgün,Ö. E., Karadeniz, Ş. ve Demirel, F. (2010). Bilimsel Araştırma Yöntemleri. 7. Baskı. Ankara: Pegem A Yayıncılık.
4. Cardinet, J., Johnson, S., & Pini, G. (2010). Applying generalizability theory using EduG. In G. Marcoulides (Series Ed.), Quantitative methodology series. New York: Routledge.
5. Cizek, G. J. (Ed.). (2001). Setting performance standards: Concepts, methods, and perspectives. Mahwah, NJ: Lawrence Erlbaum Associates.
6. Cizek, G. J. & Bunch, M. B. (2007) Standard Setting: A guide to establishing and evaluating performance standards on tests. Thousand Oaks, CA: Sage.
7. Clauser, B. E., Harik, P., Margolis, M. J., McManus, M. C., Mollon, J., Chis,
8. L. & Williams, S. (2009). An empirical examination of the impact of group discussion and examinee performance information on judgments made in the Angoff standard-setting procedure. Applied Measurement in Education, 22, 1-21.

9. Davis, S. L., Buckendahl, C. W. & Plake, B. S. (2008). When adaptation is not an option: an application of multilingual standard setting. Journal of Educational Measurement, 45(3), 287-304.
10. Demir, O. (2014). Angoff, Nedelsky ve Ebel standart belirleme yöntemleri ile belirlenen kesme puanlarının karşılaştırılması. Yayımlanmamış yüksek lisans tezi. Abant İzzet Baysal Üniversitesi, Eğitim Bilimleri Enstitüsü, Bolu.
11. Güler, N. (2009). Genellenebilirlik Kuramı ve SPSS ile GENOVA programlarıyla hesaplanan G ve K çalışmalarına ilişkin sonuçların karşılaştırılması. Eğitim ve Bilim, 34(154), 93-103.
12. Gündeğer, C. (2012). Angoff, Yes/No ve Ebel standart belirleme yöntemlerinin karşılaştırılması. Yayımlanmamış yüksek lisans tezi. Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
13. Hein, S. F. & Skaggs, G. (2010). Conceptualizing the classroom of target students: a qualitative ınvestigation of panelists’ experiences during standard setting. Educational Measurement: Issues and Practice, 29(2), 36-44.
14. Hurtz, G. M. & Hertz, N. R. (1999). How many raters should be used for establishing cutoff scores with the Angoff method? A Generalizability Theory study. Educational and Psychological Measurement, 59(6), 885-897.
15. Impara, J.C. & Plake, B.S. (1998). Teacher’s ability to estimate item difficulty: a test of assumptions in the Angoff standard setting method. Journal of Educational Measurement, 35, 69-81.
16. Jaeger, R. M. (1989). Certification of student competence. In R. L. Linn
17. (Ed.), Educational measurement (3rd ed., pp. 485–514). New York: Macmillan Publishing Co.
18. Jaeger, R. M. (1991). Selection of judges for standard setting. Educational Measurement: Issues and Practice, 10(2), 3–14.
19. Koffler, S. L. (1980). A comparison of approached for setting proficiency standards. Journal of Educational Measurement, 17, 167–178.
20. Nedelsky, L. (1954). Absolute grading standards for objective tests. Educational and Psychological Measurement, 14, 3–19.
21. Norcini, J. J., Shea, J. A. & Kanya, D. T. (1988). The effect of various factors on standard setting. Journal of Educational Measurement, 25(1), 57-65.
22. Ömür, S. ve Selvi, H. (2010). Angoff, Ebel ve Nedelsky yöntemleriyle belirlenen kesme puanlarının sınıflama tutarlılıklarının karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(2), 102-103.
23. Reid, J. (1991). Training judges to generate standard setting data. Educational Measurement: Issues and Practice, 10(2), 11–14
24. Shavelson, R. J. & Webb, N. M. (1991). Generalizability Theory: A Primer. Sage Publications, USA.
25. Tanrıverdi, S. (2006). Standart belirleme yöntemlerinin standart
26. belirleme üzerine etkisi. Yayımlanmamış yüksek lisans tezi. Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
27. Taşdelen, G. (2009). Nedelsky ve Angoff standart belirleme yöntemlerinin genellenebilirlik kuramı ile karşılaştırılmasına ilişkin bir araştırma. Yayımlanmamış yüksek lisans tezi. Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
28. Taşdemir, F. (2013). Angoff (1-0), Nedelsky ve Sınır Değerleri Saptama yöntemleri ile bir testin sınıflama doğruluklarının incelenmesi. Yayımlanmamış doktora tezi. Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.