Comparison of Cut Points According to Angoff, Yes/No and Borderline Group Methods

Year 2019, Volume: 36 Issue: 2, 47 - 66, 15.12.2019

Ali Kılıç Sevilay Kilmen

Abstract

This study aims to compare the cut-off points obtained by two test-centered standard setting methods, namely the Angoff and the yes/no methods with those obtained by a student-centered standard setting method, namely the borderline group method. The data were collected from two different study groups: students and judges. The former consisted of a purposive sample of 1.057 students studying at 10th grade in Anatolian High Schools in Uşak, whereas the latter consisted of a purposive sample of 22 mathematics and 16 Turkish language and literature teachers who taught the students that participated in the study. The findings point to significant differences among the methods in terms of the percentages of the students considered successful.

Keywords

Angoff, Yes/No, borderline group, cut-off score designs

Angoff, Evet/Hayır ve Sınır Grup Yöntemlerine Göre Kesme Puanlarının Karşılaştırılması

Abstract

Bu araştırmada test merkezli standart belirleme yöntemlerinden Angoff ve evet/hayır yöntemleri ile öğrenci merkezli standart belirleme yöntemlerinden sınır grup yöntemi ile elde edilen kesme puanlarının karşılaştırılması amaçlanmıştır. Araştırma kapsamında öğrenci ve yargıcı grubu olmak üzere iki farklı çalışma grubundan veriler elde edilmiştir. Öğrenci grubunu Uşak ili Anadolu liselerinde 10. sınıfta öğrenim gören 1.057 öğrenci, yargıcı grubunu ise öğrenci grubunun dersine giren 22 matematik ve 16 Türk dili ve edebiyatı öğretmeni oluşturmaktadır. Araştırma sonunda tüm yöntemler arasında başarılı kabul edilen öğrenci oranları açısından anlamlı farklar olduğu saptanmıştır.

Keywords

Angoff, evet/hayır, sınır grup, kesme puanı

References

• Angoff, W.H. (1971). Scales, norms, and equivalent scores. In R.L. Thomdike (Ed.), Educational measurement (2nd ed., pp. 508-600). Washington, DC: American Council on Education. Atılgan, H., Yurdakul, B. ve Öğretmen, T. (2012). Öğrenci başarısının belirlenmesinde bağıl ve mutlak değerlendirme üzerine bir araştırma. İnönü Üniversitesi Eğitim Fakültesi Dergisi, 13(2), 79-98. Baykul, Y. (2015). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara: Pegem Akademi. Berk, R. A. (1984). A guide to criterion-referenced measurement: The state of the art: Baltimore, MD: Johns Hopkins University Press. Brandon, P. R. (2004). Conclusions about frequently studied modified Angoff standard-setting topics. Applied Measurement in Education, 17(1), 59-88. Busch, J. C. ve Jaeger, R. M. (1990). Influence of type of judge, normative information, and discussion on standards recommended for the national teacher examinations. Journal of Educational Measurement, 27(2), 145-163. Chinn, R. N. ve Hertz, N. R. (2002). Alternative approaches to standard setting for licensing and certification examinations. Applied Measurement in Education, 15(1), 1-14. Cizek, G. J. (2001). Conjectures on the rise and call of standard setting: An introduction to context and practice. Gregory J. Cizek (Ed.), Setting performance standards: Theory and Aplication (pp. 3-17). New Jersey: Lawrence Erlbaum Associates. Cizek, G. J. ve Bunch, M. (2007). Standard setting, a guide to establishing and evaluating performance standards on tests. Thousand Oaks, London, New Delhi: SAGE Publications. Clauser, B. E., Mee, J. ve Margolis, M. J. (2013). The effect of data format on integration of performance data into Angoff judgments. International Journal of Testing, 13 (1), 65-85. Crocker, L. ve Algina, J. (1986). Introduction to classical and modern test theory: Newyork: Holt.Rinehart and Winston. Cross, L. H., Impara, J. C., Frary, R. B. ve Jaeger, R. M. (1984). A comparison of three methods for establishing minimum standards on the national teacher examinations. Journal of Educational Measurement, 21(2), 113-129. Çetin, S. ve Gelbal, S. (2010). Farklı standart belirleme yöntemlerinin geçme puanları üzerine etkisi. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 43(1), 79-95. Çetin, S. (2011). İşaretleme ve Angoff standart belirleme yöntemlerinin karşılaştırılması. Yayımlanmamış yüksek lisans tezi, Hacettepe üniversitesi, Ankara. Demir, O. (2014). Angoff, Nedelsky ve Ebel standart belirleme yöntemleri ile belirlenen kesme puanlarının karşılaştırılması. Yayınlanmamış yüksek lisans tezi, Abant İzzet Baysal Üniversitesi, Bolu.. Doğan, N. ve Gündeğer, C. (2014). Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1),53-60. Ferguson, G. A. (1959). Statistical analysis in psychology and education. New York: McGraw-Hill. Gündeğer, C. (2012). Angoff, Yes/No ve Ebel standart belirleme yöntemlerinin karşılaştırılması. Yayımlanmamış yüksek lisans tezi, Hacettepe üniversitesi, Ankara. Hambleton, R.K. (2001). Setting performance standards on educational assessments and criteria for evaluating the process. Gregory J.Cizek (Ed.), Setting performance standards: Theory and aplication (pp. 89-116). New Jersey: Lawrence Erlbaum Associates. Hambleton, R. K. ve Pitoniak, M. J. (2006). Setting performance standards. Educational Measurement, 4(1), 433-470. Hsieh, M. (2013). Comparing yes/no Angoff and bookmark standard setting methods in the context of English assessment. Language Assessment Quarterly, 10(3), 331-350. Hurtz, G. M. ve Hertz, N. R. (1999). How many raters should be used for establishing cutoff scores with the Angoff method? A generalizability theory study. Educational and Psychological Measurement, 59(6), 885-897. Impara, J. C. ve Plake, B. S. (1997). Standard setting: An alternative approach. Journal of Educational Measurement, 34(4), 353-366. Jeager, R. (1989). Certification of student competence in educational measurement. R.L. In R. L. Linn (Ed.), Educational measurement (pp. 485-514). New York: Macmillan Publishing Co. Kane, M. (1998). Criterion bias in examine centered standard setting: some thought experiments. Educational Measurement: Issues and Practice, 17(1), 23-30. Kara, Y. ve Kelecioğlu, H. (2015). Puanlayıcı niteliklerinin kesme puanlarının belirlenmesine etkisinin genellenebilirlik kuramı’yla incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6(1), 58-71. Korkmaz, S. (2015). Evet / Hayır, Ebel ve işaretleme standart belirleme yöntemlerinin karşılaştırılması. Yayımlanmamış yüksek lisans tezi, Hacettepe üniversitesi, Ankara. Livingston, S. A. ve Zieky, M. J. (1982). Passing scores: A manual for setting standards of performance on educational and occupational tests. New Jersey: Educational Testing Service. Murphy, K. R. ve Davidshofer, C. O. (1991). Psychological testing: Principles and applications. New Jersey: Prantice Hall. Norcini, J. J. (2003). Setting standards on educational tests. Medical education, 37(5), 464-469. Ömür, S., ve Selvi, H. (2010). Angoff, Ebel ve Nedelsky yöntemleriyle belirlenen kesme puanlarının sınıflama tutarlılıklarının karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(2), 109-113. Plake, B. S. (1998). Setting performance standards for professional licensure and certification. Applied Measurement in Education, 11(1), 65-80. Raymond, M. R. ve Reid, J. B. (2001). Who made thee a judge? Selecting and training participants for standard setting. Gregory J.Cizek (Ed.), Setting performance standards: Theory and aplication (pp. 133-172). New Jersey: Lawrence Erlbaum Associates. Rotherham, A. J. (2006). Making the cut: How states set passing scores on standardized tests. Education Sector. 19 Aralık 2017 tarihinde https://www.air.org/sites/default/files/publications/EXPCutScores.pdf sitesinden alınmıştır. Shin, S.K. (2014). How good is good enough?: A comparison of three methods for establishing cut scores on placement tests. English Teaching, 69 (4), 53-75. Tanrıverdi, S. (2006). Standart belirleme yöntemlerinin geçme puanları üzerine etkisi. Yayımlanmamış yüksek lisans tezi, Hacettepe üniversitesi, Ankara. Taşdelen, G. (2009). Nedelsky ve Angoff standart belirleme yöntemlerinin genellenebilirlik kuramı ile karşılaştırılmasına ilişkin bir araştırma. Yayımlanmamış yüksek lisans tezi, Hacettepe Üniversitesi, Ankara. Taşdemir, F. (2013). Angoff (1-0), Nedelsky ve sınır değerleri saptama yöntemleri ile bir testin sınıflama doğruluklarının incelenmesi. Yayımlanmamış yüksek lisans tezi, Ankara Üniversitesi, Ankara. Tülübaş, G. (2009). Psikolojik testlerde Angoff ve Sınır Grup Yöntemleri ile kesme puanlarının belirlenmesi. Yayımlanmamış yüksek lisans tezi, Hacettepe üniversitesi, Ankara. Wyse, A. E. (2009). A comprehensive item response theory framework for evaluating standard setting. Yayınlanmamış doktora tezi. Retrieved from ProQuest Dissertations and Theses database.(Accession No. 3395454). Zieky, M., Perie, M. ve Livingston, S. (2006). A primer on setting cut scores on tests of educational achievement. Princeton, NJ: Educational Testing Service.