ÜDS için Angoff ve madde haritalama yöntemleriyle standart belirleme

Öz

Bu çalışmada Angoff ve Madde Tepki Kuramına (MTK) dayalı Madde Haritalama yöntemleri ile belirlenen kesme puanlarının karşılaştırması amaçlanmıştır. Çalışma için ÖSYM tarafından 2000-2012 yılları arasında, yılda iki kez yapılan ve akademik kadrolara atanma aşamasında puanları ön koşul olarak kabul edilen ÜDS’nin 2005 yılı Sosyal Bilimler İngilizce testi arşiv verileri kullanılmıştır. Her iki yöntemin yürütülmesinde de yedi yargıcı ile çalışılmış ve bu yöntemlerle belirlenecek 3 kesme puanına ilişkin yeterlik düzeylerinin sınırında kalan adayların dil yeterlikleri Avrupa dil portfolyosu çerçevesi esas alınarak 15 kişilik bir uzman grubunun görüşleri doğrultusunda tanımlanmıştır. İki yönteme göre belirlenen kesme puanlarının “öğretim üyesi dışındaki öğretim elemanı kadrolarına atanabilme” düzeyi için anlamlı derecede farklı olduğu ancak “Doçentlik başvurusu yapabilme” ve “ İngilizce okutmanlığı başvurusu yapabilme” düzeyleri için benzer olduğu bulunmuştur. MTK’ya dayalı belirlemelere bir geçerlik kanıtı oluşturmak amacıyla yanıtlayıcı örneklemine ait verilerden elde edilen madde parametrelerine göre maddeler yeniden haritalanmış ve yargıcılarla ikinci bir madde haritalama çalışması yürütülmüştür. Bu iki uygulamada verilen kararların birbirleri ile uyumlu olması, yapılan işlemin geçerliği için kanıt olarak kabul edilmiştir. Angoff ve MTK’ya dayalı Madde Haritalama yöntemleri ile üç ayrı kesme puanının belirlenmesinde yargıcılar arası uyum araştırılmıştır. MTK’ya dayalı Madde Haritalama yönteminde yargıcıların birbirleri ile uyumlu kararlar verdikleri, Angoff yöntemi için yargıcılar tarafından verilen kararların birbirleri ile uyumlu olmadığı görülmüştür. Yargıcıların iş yükünü azaltma ve onlara ortak standardı yakalama konusunda yol göstererek daha tutarlı sonuçlar elde etmeyi sağlama gibi avantajları sebebiyle MTK’ya dayalı Madde Haritalama Yöntemi’nin daha güvenilir ve kullanışlı olduğu görülmüştür.

Anahtar Kelimeler

• kesme puanı
• angoff yöntemi
• madde tepki kuramı
• madde haritalama

Setting standards for UDS with Angoff and item mapping methods

Öz

This study aims to compare the cutoff scores determined by Angoff and Item Response Theory (IRT) based Item Mapping methods. Archive data of UDS, which was made by ÖSYM was used in the study. Seven judges worked on the implementation of both methods. It has been found that the cutoff scores determined according to the two methods are significantly different for the level of "assignment to faculty members other than assistant professors, associate professors and professors", but similar for the levels of "applying for Associate Professorship" and "applying for English lecturer". In order to establish a proof of validity for the MTK based determinations, the items were re-mapped according to the item parameters obtained from the data of the respondent sample and a second item mapping study was conducted with the judges. The coherence of the decisions taken as a result of these two conduction are accepted as evidence for the validity of the applications. Consistency between judges was investigated in determining three different cut-off points with Angoff and MTK-based Item Mapping methods. Consistency between judges in determining three different cut-off points with Angoff and MTK-based Item Mapping methods was investigated. It was observed that judges made consistent decisions with each other in the Item Mapping method based on MTK, and the decisions made by the judges for the Angoff method were not consistent with each other

Anahtar Kelimeler

• Angoff method
• cut-off score
• item mapping
• item response theory

Kaynakça

1. Akhun, İlhan. (1982). İki Yüzde Arasındaki Farkın Manidarlığının Test Edilmesi. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi. 15(1), 240-259.
2. American Educational Research Association, American Psychological Association and National Council on Measurement in Education. (2002). Standards for Educational and Psychological Testing. Washington: AERA.
3. Bachman, Lyle F. (1990). Fundamental Considerations in Language Testing. (second edition). Oxford: Oxford University Press.
4. Buckhendal, W. C., Smith W. R., Impara C. J., & Plake S. B. (2002). A Comprasion of Angoff and Bookmark Standard Setting Methods. Journal of Educational Measurement, 39(3), 253-263.
5. Camilli, G., Cizek, G. J., & Lugg, C. A. (2001). Psychometric Theory and the Validation of Performance Standards. In G. J. Cizek (ed.) Setting Performance Standards: Concepts, Methods and Perspectives (445-475). Hillsdale, NJ: Lawrence Erlbaum Associates.
6. Cizek, Gregory J. (ed.). (2001). Setting Performance Standards: Concepts, Methods and Perspectives. NJ: Lawrence Erlbaum Associates.
7. Cizek, G., & Bunch M. (2004). Setting Performance Standards: Contemporary Methods. Educational Measurement: Issues and Practice. 23(4), 31-50.
8. Crocker, L., & Algina, J. (1986). Introduction to Classical and Modern Test Theory. NY: CBS College Publishing Company.

9. DeMauro, G. E. (1995, May). Construct Validation of Minimum Competence a Bookmark Standard Setting Procedure. Paper presented at the Annual Meeting of the National Council on Measurement in Education. Francisco, CA.
10. Dickinson, E. R., Thacker, A. A., Moody, R. K., & Hoffman, R.G. (2006). Item Content and Difficulty Mapping by Form and Item Type for the 2006 Kentucky Core Content Tests. Louisville: Human Resources Research Organization.
11. Embretson, S. E., & Reise, S. P. (2000). Item Response Theory For Psychologists. New Jersey: Lawrence Erlbaum Associates.
12. Gwet, Kilem L. (2001). Statistical Tables for Inter-Rater Agreement. Gaithersburg: StatAxis Publishing.
13. Hambleton, R. K., & Swaminathan, H. (1985). Item Response Theory: Principles and Applications. Boston, Kluwer - Nijhoff Publishing.
14. Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1996). Fundamentals of Item Response Theory. California: SAGE Pub.
15. Impara, J. C., & Plake, B. S. (1997). Standard Setting: An Alternative Approach. Journal of Educational Measurement, 34(4), 353-366.
16. Impara, C. J., & Plake, B. S. (1998). Teachers Ability to Estimate Item Difficulty: A test of the Assumptions in the Angoff Standard Setting Method . Journal of Educational Measurement , 35(1 ), 69-81.
17. Irwin, Patrick M. (2007) An Alternative Examinee-Centered Standard Setting Strategy. Yayınlanmamış doktora tezi. USA: University of Nebraska.
18. Jaeger, Richard M. (1989) Certification of student competence. In R.L. Linn (Ed.) Educational Measurement (3rd ed.), Newyork.
19. Karantonis, A., & Sireci, S.G. (2006, Mar). The Bookmark Standard-Setting Method: A Literature Review. Educational Measurement: Issues and Practice. 25 (1), 4-12.
20. Lissitz, R. W., & Kroopnick, M. H. (2007). An Adaptive Procedure for Standard Setting and A Comparison with Traditional Approaches. Paper presented at the NCME annual meeting in Chicago, IL.
21. Moy, R. H. (March, 1981). Proficiency Standards and Cut Scores for Language Proficiency Tests. Paper presented at the Annual Meeting of the TESOL, Detroit.
22. Ryan, J. M. (2003). An analysis of item mapping and test reporting strategies. http://www.seirtec.org/_downloads/Non_REL/Assessment/Analysis_of_State_Test_Score_Reporting_Strategies.pdf
23. Schulz, Matthew E. (2006). Commentary: A Response to Reckase’s Conceptual Framework and Examples for Evaluating Standard Setting Methods. Measurement: Issues and Practice. 25(3), 4-13.
24. Seçil, S. Ö. (2009). Matematik öğrenimindeki bilişsel süreçlerin madde tepki kuramıyla incelenmesi. Yayınlanmamış doktora tezi, Orta Doğu Teknik Üniversitesi, Ankara.
25. Shen, L. (2001, April). A Comparison of Angoff and Rasch Model Based Item Map Methods in Standard Setting. Paper presented at the Annual Meeting of the American Educational Research Association, Seattle, WA.
26. Skaggs, G., & Tessema, A. (2001, April). Item Disordinality with the Bookmark Standard Setting Procedure. Paper presented at the Annual Meeting of the National Council on Measurement in Education. Seattle, WA.
27. Skorupski, W. P., & Hambleton, R. K. (2005). What are panelists thinking when they participate in standard-setting studies? Applied Measurement in Education, 18(3), 233-256.
28. Tülübaş, G. (2009). Psikolojik testlerde Angoff ve sınır grup yöntemleri ile kesme puanlarının belirlenmesi. Yayınlanmamış yüksek lisans tezi, Hacettepe Üniversitesi, Ankara.
29. Wang, N., Wiser, R. F., & Newman, L. S. (2001, April). Use of the Rasch IRT Model in Standard Setting: An Item Mapping Method. Version of a paper presented at the Annual Meeting of the National Council on Measurement in Education, Seattle, WA.
30. ÖSYM. (2020). Ölçme, Seçme ve Yerleştirme Merkezi. http://www.osym.gov.tr
31. Zwick, R., Şentürk, D., & Wang, J. (2001). an investigation of alternative methods for item mapping in the national assessment of educational progress. Educational Measurement: Issues and Practice. 20(2), 15-25.