Investigation of Psychometric Properties of Multiple-Choice Items Developed By Turkish Teachers

Abstract

The main purpose of this research is to determine the psychometric properties of the items (questions) developed by Turkish teachers. The research was conducted with 320 teachers who teach Turkish to 8th grade students in public schools in Ankara in during the 2020-2021 academic year. Turkish subtest items of LGS (High School Enterance System) central exam verbal section were evaluated by field experts and a blueprint was created. Each achievement in the blueprint was randomly assigned to a teacher and he/she was asked to develop a multiple-choice item which has moderate difficulty and high discrimination to measure this achievement. The multiple-choice items written by the teachers were applied to the 8th grade students and the psychometric properties of the items were estimated from the students’ responses. According to the results of the research, it was found that the content validity ratios, reliability and validity coefficients, item factor loadings, and differential item function values of the items developed by the teachers were at an insufficient level. Item difficulties were easy and the discrimination indexes were at a level that could be taken to the test by only correction.

Keywords

• Item analysis
• item psychometric properties
• item writing
• teacher-made tests

References

1. AERA, APA, & NCME. (2014). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.ISBN:978-0-935302-35-6
2. Akçadağ, T. (2010). Öğretmenlerin İlköğretim Programındaki Yöntem, Teknik, Ölçme ve Değerlendirme Konularına İlişkin Eğitim İhtiyacı. Bilig, 53, 29-50.
3. Aldım, Ü. F. (2010). İlköğretim 7. Sınıflarında Uygulanan SBS (Seviye Belirleme Sınavı) İngilizce Sorularının Bazı Değişkenlere Göre İncelenmesi. Unpublished master thesis. Fırat Üniversitesi Sosyal Bilimler Enstitüsü, Elazığ.
4. Anıl, D. ve Acar, M. (2010). Sınıf Öğretmenlerinin Ölçme Değerlendirme Sürecinde Karşılaştıkları Sorunlara İlişkin Görüşleri. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 5(2), 44-61.
5. Aybek, E. C., Yaşar, M. ve Kartal, S. (2021). Öğretmen Yapımı Bir Testteki Maddelerin Değişen Madde Fonksiyonu Bağlamında İncelenmesi. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, (52), 281-300.
6. Ayre, C., & Scally, A. J. (2014). Critical values for Lawshe’s content validity ratio: revisiting the original methods of calculation. Measurement and Evaluation in Counseling and Development, 47(1), 79-86. https://doi.org/10.1177/0748175613513808
7. Baş, G. ve Kıvılcım, Z. S. (2019). Türkiye’de Öğrencilerin Merkezi Sistem Sınavları ile İlgili Algıları: Bir Metafor Analizi Çalışması. Eğitimde Nitel Araştırmalar Dergisi, 7(2), 639-667. https://doi.org/10.14689/issn.2148-2624.1.7c.2s.8m
8. Baykul, Y. (2015). Eğitimde ve Psikolojide Ölçme: Klasik Test Teorisi ve Uygulaması. (3. baskı). Ankara: Pegem Akademi.

9. Berberoğlu, G. (1996). The University Entrance Examinations in Turkey. Studies in Educational Evaluation, 22, 4, 363-373.
10. Büyüköztürk, Ş. (2016). Sınavlar üzerine düşünceler. Kalem Eğitim ve İnsan Bilimleri Dergisi, 6(2), 345-356.
11. Crocker, L., & Algina, J. (2008). Introduction to classical and modern test theory. Cengage Learning: 5191 Natorp Boulevard Mason, Ohio 45040. ISBN:978-0-495-39591-1
12. Çağlar, M. ve Kılıç, A. (2019). Merkezi sınav ve öğretmen yapımı sınavların bazı değişkenler açısından incelenmesi: ortaöğretime geçiş sınavı örneği. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 19(4), 1288-1305. https://doi.org/10.17240/aibuefd.2020..-416761
13. Çakan, M. (2004). Öğretmenlerin Ölçme-değerlendirme Uygulamaları ve Yeterlik Düzeyleri: İlk ve Ortaöğretim. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 37(2), 99-114.
14. Çelikkaya, T., Karakuş, U. ve Demirbaş, Ç. Ö. (2010). Sosyal Bilgiler Öğretmenlerinin Ölçme-değerlendirme Araçlarını Kullanma Düzeyleri ve Karşılaştıkları Sorunlar. Ahi Evran Üniversitesi Eğitim Fakültesi Dergisi, 11, 57-76.
15. Doğan, N., ve Tezbaşaran, A. A. (2003). Klasik test kuramı ve örtük özellikler kuramının örneklemler bağlamında karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 25(25)
16. Ebel, R. L., & Frisbie, D. A. (1991). Essentials of educational measurements (5th Ed.). Prentice-Hall of India.ISBN: 0-87692-700-2
17. Furr, R. M. & Bacharach, V. R. (2013). Psychometrics: an introduction. Sage Publications, Inc. 2455 Teller Road Thousand Oaks,California 91320.ISBN:978-1-4522-5680-1
18. González, A., Padilla, J. L., Hidalgo, M. D., Gómez-Benito, J., & Benítez, I. (2011). EASY-DIF: Software for analyzing differential item functioning using the Mantel-Haenszel and standardization procedures. Applied Psychological Measurement, 35(6), 483. https://doi.org/10.1177/0146621610381489
19. Goodrich, H. C. (1977). Distractor Efficiency in Foreign Language Testing. TESOL Quarterly, 11(1), 69. https://doi.org/10.2307/3585593
20. Karamustafaoğlu, S., Çağlak, A., ve Meşeci, B. (2012). Alternatif Ölçme Değerlendirme Araçlarına İlişkin Sınıf Öğretmenlerinin Öz Yeterlilikleri. Amasya Üniversitesi Eğitim Fakültesi Dergisi, 1(2), 167-179.
21. Karataş, S. ve Güleş, H. (2013). Öğretmen atamalarında esas alınan merkezi sınavın (KPSS) öğretmen adaylarının görüşlerine göre değerlendirilmesi. Kuramsal Eğitimbilim Dergisi, 6(1), 102-119.
22. Kaya, İ. (2017). 2010-2013 Yıllarında Sorulan YGS ve LYS Tarih Sorularının Ortaöğretim Tarih Dersi Öğretim Programları Açısından Değerlendirilmesi. Journal of Analytic Divinity, 1(1), 101-128. https://doi.org/10.46595/jad.350404
23. Keskin, H. (2013). İlköğretim ikinci kademe matematik öğretmenlerinin uyguladıkları sınavların psikometrik niteliklerinin incelenmesi. Unpublished master thesis. Akdeniz Üniversitesi, Antalya.
24. Khine, M. S. (2013). Application of structural equation modeling in educational research and practice. Rotterdam / Boston / Taipei: Sense Publishers.
25. Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174. https://doi.org/10.2307/2529310
26. Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology,28(4), 563–575. https://doi.org/10.1111/j.1744-6570.1975.tb01393.x
27. Mantel, N., & Haenszel, W. (1959). Statistical aspects of the analysis of data from retrospective studies of disease. Journal of the national cancer institute, 22(4), 719-748. https://doi.org/10.1093/jnci/22.4.719
28. MEB (Millî Eğitim Bakanlığı) (2017). Öğretmenlik Mesleği Genel Yeterlikleri. Ankara. [Accessed: 11 October 2020].http://oygm.meb.gov.tr/meb_iys_dosyalar/2017_12/11115355_YYRETMENLYK_MESLEYY_GENEL_YETERLYKLERY.pdf
29. MEB (Millî Eğitim Bakanlığı) (2018). Güçlü Yarınlar için 2023 Eğitim Vizyonu. [Accessed: 4 January 2021]. http://2023vizyonu.meb.gov.tr/doc/2023_EGITIM_VIZYONU.pdf
30. MEB (Millî Eğitim Bakanlığı) (2019a). 2019 Ortaöğretim Kurumlarına İlişkin Merkezi Sınav. Eğitim Analiz ve Değerlendirme Raporları Serisi. [Accessed: 8 July 2020]. https://www.meb.gov.tr/meb_iys_dosyalar/2019_06/24094730_2019_Ortaogretim_Kurumlarina_Iliskin_Merkezi_Sinav.pdf
31. MEB (Millî Eğitim Bakanlığı) (2019b). Türkçe dersi (1-8. sınıflar) öğretim programı. Ankara: Talim ve Terbiye Kurulu Başkanlığı. [Accessed: 8 July 2020]. https://mufredat.meb.gov.tr/Dosyalar/20195716392253-02-T%C3%BCrk%C3%A7e%20%C3%96%C4%9Fretim%20Program%C4%B1%202019.pdf
32. MEB (Millî Eğitim Bakanlığı) (2021). Liselere Geçiş Sistemi (LGS) Merkezî Sınavla Yerleşen Öğrenci Performansı. [Accessed: 21 September 2021]. https://cdn.eba.gov.tr/icerik/2021/07/rapor/No_17-LGS_2021-merkezi_yerlestirme_211730.pdf
33. Öğretmen, T. (1995). Differential Item Functioning Analysis of the Verbal Ability Section of the First Stage of the University Entrance Examination in Turkey. Unpublished master thesis. Orta Doğu Teknik Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
34. Özkan, Y. Ş. ve Güvendir, M. A. (2014). Türkiye’de Uygulanan Geniş Ölçekli Testlerin Çok Boyutluluğunun Analizi. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 29, 31-47.
35. Stuart-Hamilton, I. (2007). Dictionary of psychological testing, assessment and treatment. (2nd Ed.) Jessica Kingsley Publishers. ISBN: 978 1 84310 494 0
36. Şata, M. (2016). Türk Eğitim Sistemi’nde Sınıf İçi ile Geniş Ölçekli Ölçme ve Değerlendirmeye Genel Bir Bakış. Current Research in Education, 2(1), 53-60.
37. Tokcan, H. ve Çevik, E. (2013). İlköğretim II. kademe sosyal bilgiler dersi öğretmenlerinin yazılı sınav sorularının programa uygunluğunun incelenmesi. Ondokuz Mayıs Üniversitesi Eğitim Fakültesi Dergisi, 32(1), 58-91.
38. Widaman, K. F. (1993). Common Factor-Analysis versus Principal Component Analysis – Differential Bias in Representing Model Parameters. Multivariate Behavioral Research, 28(3), 263-311. https://doi.org/10.1207/s15327906mbr2803_1
39. Yorgancı, O. K. (2015). Sekizinci sınıf türkçe dersi ortak sınavı sorularının öğretim programına göre değerlendirilmesi. Unpublished master thesis. Gazi Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.
40. Zieky, M. (1993). Practical questions in the use of DIF statistics in test development. In P. W. Holland & H. Wainer (Eds.), Differential item functioning (pp. 337–347). Lawrence Erlbaum Associates, Inc.
41. Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIF). Ottawa: National Defense Headquarters, 160.