Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi
Öz
Bu araştırma kapsamında testlerde hatalı soru olması durumunda soru için kullanılan yöntemlerin bireylerin puanlamalarına ve sıralamalarına olan etkisinin incelenmesi amaçlanmıştır. Bu doğrultuda 2016 TEOG uygulamasına katılan 64.788 öğrencinin Türkçe alt testinde yer alan 20 soruya verdikleri cevaplar üzerinde incelemeler gerçekleştirilmiştir. Araştırma kapsamında öncelikle farklı özelliklere sahip (en düşük ayırıcılığa sahip, en çok boş bırakılan, en zor) soru iptal edilmiştir. Ardından da iptal edilen sorulara yönelik dört farklı puanlama yöntemine (herkese doğru kabul etme, diğer sorular üzerinden hesaplama yapma, en az bir doğrusu olan herkese doğru kabul etme, alt testi bazında ağırlıklandırma) dayalı olarak öğrencilere ilişkin dört farklı puan türü (toplam puan, net puanı ve sıralamalar) hesaplanmıştır. Aynı zamanda her bir puan türüne göre öğrenciler sıralanmıştır. Hesaplama sonuçlarında soru iptali durumunda herkese doğru kabul etme ve en az bir doğrusu olan herkese doğru kabul etme yöntemlerinin hem ortalama hem de sıralamada gerçek ortalama ve sıralamadan en uzak değerleri ürettiği belirlenmiştir. Diğer sorular üzerinden hesaplama yapma ve alt testi bazında ağırlıklandırma yöntemlerinin ortalamalar bakımından benzer olduğu, öğrenci sıralamasının değişmesine en dirençli olan yöntemin de alt testi bazında ağırlıklandırma yöntemi olduğu tespit edilmiştir.
Anahtar Kelimeler
Hatalı soru, İptal madde, Puanlama Yöntemleri, Test Geçerliği, TEOG
Kaynakça
- AERA, APA ve NCME (1985). Standart for educational and psychological tests. Washington: American Psychological Association.
- Baş, G. ve Kıvılcım, Z. S. (2019). Türkiye’de öğrencilerin merkezi sistem sınavları ile ilgili algıları: bir metafor analizi çalışması. Eğitimde Nitel Araştırmalar Dergisi, 7(2), 639-667.
- Büyüköztürk, Ş., Kılıç Çakmak, E., Ekgün, Ö.E., Karadeniz, Ş. ve Demirel, F. (2018). Bilimsel araştırma yöntemleri. Ankara: Pegem Yayıncılık.
- Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. New York: Holt, Rinehart, & Winston.
- Çobanoğlu Aktan, D., Aksu, G. ve Eser, T. (2018). Türkiye ve Amerika’da engelli öğrenciler için yapılan geniş ölçekli sınavların yasal sorumluluklar, uygulama yöntemleri ve geçerlik açısından incelenmesi. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 14(1): 69-83.
- ETS Report (1994). Dorans, Neil J., Feigenbaum, Miriam D., Feryok, Nancy J., Lawrence, Ida M., Schmitt, Alicia P., & Wright, Nancy K. (1994). Technical Issues Related to the Introduction of the New SAT and PSAT/NMSQT. ETS Research Memorandum, RM-94-10.
- Güler, N. (2011). Eğitimde Ölçme ve Değerlendirme. Ankara: PegemA.
- IEA (2020). Methods and Procedures: TIMSS 2019 Technical Report. TIMSS & PIRLS International Study Center: Chestnut Hill.
- Karadağ, N., Akıldız, M., Kumtepe, A.T. ve Akgün, H.R. (2017). Anadolu Üniversitesi Açıköğretim Sistemi soru yazarlarının ölçme ve değerlendirme seminerlerine ilişkin görüşleri. Açıköğretim Uygulamaları ve Araştırmaları Dergisi, 3(3), 9-46.
- Lane, S., Raymond, M.R., T.M. Haladayna (2016). Handbook of test development. Routlegde: New York.