A Comparison of Cutting Points Determined by Angoff, Nedelsky and Ebel Standard Setting Methods

Abstract

In this study, it was aimed to compare the cutting points determined by Angoff, Nedelsky and Ebel methods. Data were collected from two different groups comprising of students and experts. The mathematics achievement test, comprising of 26 questions which was developed by the researcher with the aim of evaluating the objectives of 9th grade mathematics course, was applied to 245 students and obtained achievement scores were used as student data of the study. Expert data of the study were collected by the “Expert Opinion Form" developed by the researcher.The differences between the percentages of students, considered as successful, have been tested with the test of difference between two percentages. The compliance between three methods has been examined with Cohen’s Kappa statistics. The relationship between the MGP has been evaluated with Pearson-Product Moment Correlation Coefficient and the difference between the averages of the cut-off scores has been evaluated with paired samples t-test. At the end of this research, it is seen that the highest cut-off score is determined by Angoff while the lowest cut-off score is determined by the Nedelsky and also the percentages of students differ statistically significant. When the students are classified as successful and unsuccessful it is seen that there is a high positive compliance between Angoff and Ebel, and Ebel and Nedelsky while there is a positive compliance between Angoff and Nedelsky. In terms of the MGP, there is compliance between Angoff and Ebel, but there is no compliance between Angoff and Nedelsky.

Keywords

• Angoff
• nedelsky
• ebel
• cut-off score.

Angoff, Nedelsky ve Ebel Standart Belirleme Yöntemleri ile Belirlenen Kesme Puanlarinin Karşılaştırılması

Abstract

Bu araştırma ile test merkezli standart belirleme yöntemlerinden Angoff, Nedelsky ve Ebel yöntemleri ile belirlenen kesme puanlarının karşılaştırılması amaçlanmıştır. Araştırmada öğrenciler ve uzmanlar olmak üzere iki farklı gruptan veri toplanmıştır. Dokuzuncu sınıf matematik dersi kümeler ve denklemler-eşitsizlikler öğrenme alanına ait kazanımları ölçmek amacıyla araştırmacı tarafından hazırlanan 26 maddeden oluşan matematik başarı testi 245 öğrenciye uygulanmış, elde edilen başarı puanları araştırmanın öğrenci verileri olarak kullanılmıştır. Uzman verileri ise araştırmacı tarafından geliştirilen “Uzman Görüşleri Formu” ile toplanmıştır. Başarılı kabul edilen öğrenci yüzdeleri arasında anlamlı fark olup olmadığı bağımlı iki yüzde arasındaki farkın testi ile sınanmıştır. Yöntemler arasındaki uyuma Cohen’s Kappa İstatistiği ile, MGP’ler arasındaki ilişkiye Pearson Momentler Çarpımı Korelasyon Katsayısı ile, MGP’lerin ortalamaları arasındaki farka ise Bağımlı Gruplar t Testi ile bakılmıştır. Araştırma sonucunda en yüksek kesme puanının Angoff yöntemi, en düşük kesme puanının Nedelsky yöntemi tarafından belirlendiği, başarılı kabul edilen öğrenci yüzdelerinin anlamlı şekilde farklılaştığı görülmüştür. Yöntemler tarafından belirlenen kesme puanlarına göre öğrenciler başarılı-başarısız şeklinde kategorize edildiğinde, Angoff ve Ebel yöntemleri ile Ebel ve Nedelsky yöntemleri arasında yüksek derecede pozitif yönde bir uyumun olduğu, Angoff ve Nedelsky yöntemleri arasında ise pozitif yönde makul bir uyumun olduğu görülmüştür. Angoff ve Nedelsky yöntemleri arasında, MGP’ler bakımından düşük düzeyde bir ilişki olduğu görülürken, MGP’lere ait ortalamalar arasındaki fark anlamlı bulunmuştur. Angoff ve Ebel yöntemleri arasında yüksek düzeyde anlamlı bir ilişki olduğu görülürken, MGP’lere ait ortalamalar arasındaki fark anlamlı bulunmamıştır. Nedelsky ve Ebel yöntemleri arasında düşük düzeyde bir ilişki olduğu görülürken, MGP’lerin ortalamaları arasındaki fark anlamlı bulunmamıştır.

Keywords

• Angoff
• ebel
• nedelsky
• kesme puanı.

References

1. Appleton, L. P. (1984). A comparison of the nedelsky, ebel, and contrasting groups methods of cut score determination. Yayınlanmamış Doktora Tezi. The Catholic University of America, ABD.
2. Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara: ÖSYM Yayınları.
3. Berk, R. A. (1986). A consumer’s guide to setting performance standards oncriterion-referenced tests. Review of Educational Research, 56(1), 137-172.
4. Brennan, R. L., & Lockwood, R. E. (1980). A comparison of the nedelsky and angoff cutting score procedures using generalizability theory. Applied Psychological Measurement, 4(2), 219 – 240. Büyüköztürk, Ş. (2008). Sosyal bilimler için veri analizi el kitabı (9. Baskı). Ankara: Pegem Akademi.
5. Chang, L. (1996). Comparison between the nedelsky and angoff standart-setting methods. Paper presented at the Annual Meeting of the National Council on Measurement in Education. New York, USA.
6. Cizek, G. J. (2001). Setting performance standards: Concepts, methods and perspectives. Mahwah, NJ: Lawrence Erlbaum Associates.
7. Cizek, G. J. & Bunch, M. B. (2007). Standard setting: A guide to establishing and evaluating performance standards on tests. California: Sage Publication.
8. Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. NY: CBS College Publishing Company.

9. Çetin, S. (2011). İşaretleme ve angoff standart belirleme yöntemlerinin karşılaştırılması. Yayınlanmamış Doktora Tezi. Hacettepe Üniversitesi, Ankara.
10. Ertürk, S. (1994). Eğitimde program geliştirme (8. Baskı). Ankara: Meteksan Yayınevi.
11. Gündeğer, C. (2012). Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. Yayinlanmamış Yüksek Lisans Tezi. Hacettepe Üniversitesi, Ankara.
12. Gündeğer, C. ve Doğan, N. (2014). Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 53-60.
13. Hambleton, R. K. (2001). Setting performance standards on educational assessments and criteria for evaluating the process. G. J. Cizek (Edt). Setting performance standards: Concepts, methods and perspectives (ss. 89-116). Mahwah, NJ: Lawrence Erlbaum Associates.
14. Irwin, P. (2007). An alternative examinee-centered standard setting strategy. Yayınlanmamış Doktora Tezi. University of Nebraska, ABD.
15. Jeager, R. M. (1989). Certification of student competence. R. L. Linn (Edt). Educational measurement (ss. 485-514). New York: American Council on Education/Macmillan.
16. Kane, M. (1994). Validating the performance standards associated with passing scores. Review of Educational Research, 63(4), 425-461.
17. Kane, M. T. (1998). Choosing between examinee-centered and test-centered standard-setting methods. Educational Assessment, 5(3), 129-145.
18. Karasar, N. (1982). Bilimsel araştırma yöntemi. Ankara: Matbaş Matbaacılık ve Ambalaj Sanayi.
19. Kubiszyn, T., & Borich G. (2007). Educational testing and measurement classroom application and practice. USA: Wiley Jossey-Bass Education.
20. Livingston, S. A., & Zieky, M. J. (1982). Passing scores: A manual for setting standards of performance on educational and occupational tests. New Jersey: Educational Testing Service. 10 Ocak 2014 tarihinde http://www.ets.org/Media/Research/pdf/passing_scores.pdf adresinden alınmıştır.
21. Mills, C. N., & Melican, G. J. (1988). Estimating and adjusting cutoff scores: Features of selected methods. Applied Measurement in Education, 1(3), 261 – 275.
22. Ömür, S. ve Selvi, H. (2010). Angoff, ebel ve nedelsky yöntemleriyle belirlenen kesme puanlarının sınıflama tutarlıklarının karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(2), 109-113.
23. Poggio, J. P., Glasnapp, D. R. ve Eros, P. I. (1982). An Evalaution of Contrasting Groups Methods for Setting Standarts. Paper Presented at the Annual Meeting of the American Educational Research Association. New York: USA.
24. Şencan, H. (2005). Sosyal ve davranışsal ölçümlerde güvenirlilik ve geçerlilik. Ankara: Seçkin Yayıncılık.
25. Tanrıverdi, S. (2006). Standart belirleme yöntemlerinin geçme puanları üzerine etkisi. Yayımlanmamış Yüksek Lisans Tezi, Ankara.
26. Taşdelen, G. (2009). Nedelsky ve angoff standart belirleme yöntemlerinin genellenebilirlik kuramı ile karşılaştırılmasına ilişkin bir araştırma. Yayımlanmamış Yüksek Lisans Tezi. Hacettepe Üniversitesi, Ankara.
27. Taşdemir, F. (2013). Angoff (1-0), nedelsky ve sınır değerleri saptama yöntemleri ile bir testin sınıflama doğruluklarının incelenmesi. Yayımlanmamış Doktora Tezi. Ankara Üniversitesi, Ankara.
28. Tekin, H. (1979). Eğitimde ölçme ve değerlendirme. Ankara: Mars Matbaası.
29. Turgut, M. F. (1993). Eğitimde ölçme ve değerlendirme metotları. Ankara: Saydam Matbaacılık.
30. Tülübaş, G. (2009). Psikolojik testlerde angoff ve sınır grup yöntemleri ile kesme puanlarının belirlenmesi. Yayımlanmamış Yüksek Lisans Tezi. Hacettepe Üniversitesi, Ankara.