Puanlayıcı Niteliklerinin Kesme Puanlarının Belirlenmesine Etkisinin Genellenebilirlik Kuramı’yla İncelenmesi

Yıl 2015, Cilt: 6 Sayı: 1, 58 - 71, 08.02.2015

Yusuf Kara Hülya Kelecioğlu

https://doi.org/10.21031/epod.47997

Cited By: 2

Öz

Standart belirleme süreçlerinde en önemli unsur, kesme puanları hakkında yargıda bulunan puanlayıcı grubudur. Puanlayıcı yargılarının tutarlı olması, belirlenecek kesme puanı veya puanlarının güvenirliğini doğrudan etkileyecektir. Bu çalışmada, okul öğretmenleri ve alan uzmanları olmak üzere farklı nitelikteki iki puanlayıcı grubunun standart belirleme sürecindeki performansları Genellenebilirlik Kuramı çerçevesinde karşılaştırılmış; böylece puanlayıcı niteliklerinin kesme puanları üzerindeki etkisinin ortaya konulması amaçlanmıştır. Çalışmada test merkezli standart belirleme yöntemlerinden 1-0 ve Nedelsky yöntemleri ele alınmış ve elde edilen veriler tek ve iki değişkenlik kaynaklı tümüyle çaprazlanmış desenler ile analiz edilmiştir. Elde edilen bulgularda ,her iki standart belirleme yönteminde uzman grubunun öğretmen grubuna göre belirgin olmamakla beraber daha tutarlı yargılar verdiği görülmüş; bu bulgular hesaplanan G ve Phi katsayılarıyla da desteklenmiştir.

 

Anahtar Kelimeler

standart belirleme, 1-0 yöntemi, Nedelsky yöntemi, genellenebilirlik kuramı, puanlayıcı tutarlılığı

Kaynakça

• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (1999). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
• Brennan, R. L. (2001). Generalizability theory. New York: Springer Verlag.
• Büyüköztürk, Ş., Çakmak, E., Akgün,Ö. E., Karadeniz, Ş. ve Demirel, F. (2010). Bilimsel Araştırma Yöntemleri. 7. Baskı. Ankara: Pegem A Yayıncılık.
• Cardinet, J., Johnson, S., & Pini, G. (2010). Applying generalizability theory using EduG. In G. Marcoulides (Series Ed.), Quantitative methodology series. New York: Routledge.
• Cizek, G. J. (Ed.). (2001). Setting performance standards: Concepts, methods, and perspectives. Mahwah, NJ: Lawrence Erlbaum Associates.
• Cizek, G. J. & Bunch, M. B. (2007) Standard Setting: A guide to establishing and evaluating performance standards on tests. Thousand Oaks, CA: Sage.
• Clauser, B. E., Harik, P., Margolis, M. J., McManus, M. C., Mollon, J., Chis,
• L. & Williams, S. (2009). An empirical examination of the impact of group discussion and examinee performance information on judgments made in the Angoff standard-setting procedure. Applied Measurement in Education, 22, 1-21.
• Davis, S. L., Buckendahl, C. W. & Plake, B. S. (2008). When adaptation is not an option: an application of multilingual standard setting. Journal of Educational Measurement, 45(3), 287-304.
• Demir, O. (2014). Angoff, Nedelsky ve Ebel standart belirleme yöntemleri ile belirlenen kesme puanlarının karşılaştırılması. Yayımlanmamış yüksek lisans tezi. Abant İzzet Baysal Üniversitesi, Eğitim Bilimleri Enstitüsü, Bolu.
• Güler, N. (2009). Genellenebilirlik Kuramı ve SPSS ile GENOVA programlarıyla hesaplanan G ve K çalışmalarına ilişkin sonuçların karşılaştırılması. Eğitim ve Bilim, 34(154), 93-103.
• Gündeğer, C. (2012). Angoff, Yes/No ve Ebel standart belirleme yöntemlerinin karşılaştırılması. Yayımlanmamış yüksek lisans tezi. Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
• Hein, S. F. & Skaggs, G. (2010). Conceptualizing the classroom of target students: a qualitative ınvestigation of panelists’ experiences during standard setting. Educational Measurement: Issues and Practice, 29(2), 36-44.
• Hurtz, G. M. & Hertz, N. R. (1999). How many raters should be used for establishing cutoff scores with the Angoff method? A Generalizability Theory study. Educational and Psychological Measurement, 59(6), 885-897.
• Impara, J.C. & Plake, B.S. (1998). Teacher’s ability to estimate item difficulty: a test of assumptions in the Angoff standard setting method. Journal of Educational Measurement, 35, 69-81.
• Jaeger, R. M. (1989). Certification of student competence. In R. L. Linn
• (Ed.), Educational measurement (3rd ed., pp. 485–514). New York: Macmillan Publishing Co.
• Jaeger, R. M. (1991). Selection of judges for standard setting. Educational Measurement: Issues and Practice, 10(2), 3–14.
• Koffler, S. L. (1980). A comparison of approached for setting proficiency standards. Journal of Educational Measurement, 17, 167–178.
• Nedelsky, L. (1954). Absolute grading standards for objective tests. Educational and Psychological Measurement, 14, 3–19.
• Norcini, J. J., Shea, J. A. & Kanya, D. T. (1988). The effect of various factors on standard setting. Journal of Educational Measurement, 25(1), 57-65.
• Ömür, S. ve Selvi, H. (2010). Angoff, Ebel ve Nedelsky yöntemleriyle belirlenen kesme puanlarının sınıflama tutarlılıklarının karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(2), 102-103.
• Reid, J. (1991). Training judges to generate standard setting data. Educational Measurement: Issues and Practice, 10(2), 11–14
• Shavelson, R. J. & Webb, N. M. (1991). Generalizability Theory: A Primer. Sage Publications, USA.
• Tanrıverdi, S. (2006). Standart belirleme yöntemlerinin standart
• belirleme üzerine etkisi. Yayımlanmamış yüksek lisans tezi. Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
• Taşdelen, G. (2009). Nedelsky ve Angoff standart belirleme yöntemlerinin genellenebilirlik kuramı ile karşılaştırılmasına ilişkin bir araştırma. Yayımlanmamış yüksek lisans tezi. Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
• Taşdemir, F. (2013). Angoff (1-0), Nedelsky ve Sınır Değerleri Saptama yöntemleri ile bir testin sınıflama doğruluklarının incelenmesi. Yayımlanmamış doktora tezi. Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.