Bilgisayar ortamında bireye uyarlanmış test stratejilerinin karşılaştırılması

Abstract

Bu araştırmada, bilgisayar ortamında bireye uyarlanmış test (BOBUT) yöntemi ile geleneksel kâğıt kalem test yönteminin karşılaştırılması ve BOBUT yöntemine ilişkin farklı stratejilerin karşılaştırılması amaçlanmıştır. Temel araştırma modelindeki araştırmanın verileri, Ankara Üniversitesi Yabancı Diller Yüksekokulu bünyesinde, hazırlık sınıfında öğrenim görmekte olan toplam 1166 öğrenciden toplanmıştır. Farklı stratejilerin karşılaştırılması amacıyla R programı ile simülatif veriler de oluşturulmuştur. Araştırmada veri toplama aracı olarak İngilizce Kelime Testi kullanılmıştır. BOBUT uygulamalarının yapılabilmesi için araştırmacı tarafından bir çevrimiçi ortam geliştirilmiştir. Araştırma sonucunda, çevrimiçi ortam kullanılarak yapılan bireye uyarlanmış test uygulamasında, kâğıt kalem testine göre madde sayılarında büyük oranda tasarruf sağlandığı saptanmıştır. Bireye uyarlanmış ve kâğıt kalem test uygulamalarından elde edilen yetenek parametreleri arasında da pozitif yönde yüksek korelâsyon katsayıları bulunmuştur. Farklı stratejiler ve kağıt kalem testinden elde edilen yetenek parametreleri arasında pozitif yönde yüksek korelasyon katsayıları bulunarak, araştırma kapsamında ele alınan 18 farklı strateji ile kağıt kalem testlerinin çok benzer yetenek parametrelerinin kestirildiği ortaya konmuştur. Aynı şekilde farklı stratejiler ile kestirilen yetenek parametrelerinin kendi aralarında pozitif yönde yüksek korelasyon katsayıları elde edilmiştir. Sonlandırma kuralları dikkate alındığında, farklı stratejilerden elde edilen yetenek kestirimlerinin gerek kağıt kalem testinden elde edilen yetenek parametreleri ile arasında gerekse kendi aralarında en düşük korelasyon katsayılarının sonlandırma kuralı olarak standart hatanın 0.50’den küçük olması durumunda elde edildiği saptanmıştır. ML, EAP ve MAP yetenek kestirim yöntemlerinden kaynaklı, kestirilen yetenek parametrelerinde farklılık olmadığı görülmüştür

Keywords

• Bilgisayar ortamında bireye uyarlanmış test, Test stratejileri, Madde tepki kuramı

[A comparison of computerized adaptive testing strategies]

Abstract

References

1. Baker, F. B.& Kim, S. H. (2004). Item response theory: Parameter estimation techniques. New York: Marcel Bekker Inc.
2. Barrada, J. R., Olea, J., Ponsoda, V. & Abad, F. J. (2010). A method for the comparison of item selection rules in computerized adaptive testing. Applied Psychological Measurement, 34(6), 438–452.
3. Bejar, I. I. (1983). Achievement testing: Recent advances. London: Sage Publications.
4. Bollen, K. A. & Long, J. S. (1993). Testing structural equation models. London: Sage Publications.
5. Bulut, O. & Kan, A. (2012) Application of computerized adaptive testing to entrance examination for graduate studies in Turkey. Egitim Arastirmalari-Eurasian Journal of Educational Research, 49, 61-80.
6. Byrne, B. M. (1994). Structural equation modeling with EQS and EQS/Windows: Basic concepts, applications and programming. California: Sage Publications, Inc.
7. Choi, S. W., Grady, M. W. & Dodd, B. G. (2011). A new stopping rule for computerized adaptive testing. Educational and Psychological Measurement, 71 (1), 37-53.
8. Cömert, M. (2008). Bireye uyarlanmış bilgisayar destekli ölçme ve değerlendirme yazılımı geliştirilmesi. Yayınlanmamış Yüksek Lisans Tezi. Bahçeşehir Üniversitesi Fen Bilimleri Enstitüsü, İstanbul.

9. Crocker, L. & Algina, J. (1986). Introduction classical and modern test theory. New York: Harcourt Brace Javonovich College Publishers.
10. Embretson, S. E. & Reise, S. P. (2000). Item response theory for psychologists. New Jersey: Lawrence Erlbaum Associates.
11. Evans, J. J. (2010). Comparability of examinee proficiency scories on computer adaptive tests using real and simulated data. Unpublished Doctoral Dissertation. The State University of New Jersey, USA.
12. Fan, X. (1998). Item response theory and classical test theory: An emprical comparison of their item-person statistics. Educational and Psychological Measurement, 58, 357 -381.
13. Folk, W. G. & Smith, R. L. (2002). Models for delivery of CBTs. Mills, C.N., Potenza, M.T., Fremer, J.J., and Ward, W.C. (Ed.). Computer-based testing: Building the foundation for future assessments.New Jersey: Lawrence Erlbaum Associates.
14. Gelbal, S. (1994). p madde güçlük indeksi ile Rasch modelinin b parametresi ve bunlara dayalı yetenek ölçülerine üzerine bir karşılaştırma. Eğitim Fakültesi Dergisi, 10, 85-94.
15. Georgiadou, E., Triantafillou, E. & Economides, A.A. (2006). Evaluation parameters for computer adaptive testing. British Journal of Educational Techonology, 37 (2), 261-278.
16. Hair, J., Anderson, R., Babin, B., Black, W. & Tahtam, R. (2006). Multivariate data analysis. New Jersey, Prentice Hall, Inc.
17. Hambleton, R. K. & Swaminathan, H. (1989). Item response teory: Principles and applications. USA: Kluwer Nijhoff Publishing.
18. Hambleton, R. K., Swaminathan, H. & Rogers, H. J. (1991). Fundamentals of item response theory. California: Sage Publications.
19. Haşlaman, T. (2005). Programlama dersi ile ilgili özdüzenleyici öğrenme stratejileri ile başarı arasındaki ilişkilerin incelenmesi: Bir yapısal eşitlik modeli. Yayınlanmamış Yüksek Lisans Tezi. Hacettepe Üniversitesi Fen Bilimleri Enstitüsü, Ankara.
20. Hutcheson, G. & Sofroniou, N. (1999). The multivariate social scientist. California: SAGE Pub.
21. Iseri, A. I. (2002). Assessment of students' mathematics achievement through computer adaptive testing procedures. Unpublished Doctoral Dissertation. Middle East Technical University, Ankara.
22. Jöreskog, K. G. & Sörbom, D.(2001). Lisrel 8: User's reference guide. Chicago, IL: Scientific Software International, Inc.
23. Kalender, İ. (2011). Effects of different computerized adaptive testing strategies on recovery of ability. Yayınlanmamış Doktora Tezi. Middle East Technical University, Ankara.
24. Kaptan, F. (1993). Yetenek kestiriminde adaptive (bireyselleştirilmiş) test uygulaması ile geleneksel kâğıt-kalem testi uygulamasının karşılaştırılması. Yayınlanmamış Doktora Tezi. Hacettepe Üniversitesi, Ankara.
25. Kaskatı, O. T. (2011). Rasch modelleri kullanarak romatoid artirit hastaları özürlülük değerlendirimi için bilgisayar uyarlamalı test yöntemi geliştirilmesi. Yayınlanmamış Doktora Tezi. Ankara Üniversitesi Sağlık Bilimleri Enstitüsü, Ankara.
26. Kelecioğlu, H. (2001). Örtük özellikler teorisindeki b ve a parametreleri ile klasik test teorisindeki p ve r istatistikleri arasındaki ilişki. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20, 104-110.
27. Kline, R. B. (2000). Principles and practice of structural equation modeling. NewYork: The Guilford Press.
28. Linden, W. J. & Pashley, P. J. (2010). Item selection and ability estimation in adaptive testing. Linden, W.J. &Glas, C. A. W. (Ed.). Elements of adaptive testing. New York: Springer.
29. Lord, F. M. & Stocking, M. L. (1988). Item response theory. Educational research, methodology, and measurement: An international handbook (Edt: J. P. Keeves). New York: Pergamon Press.
30. Magis, D. & Raiche, G. (2012). Random generation of response patterns under computerized adaptive testing with the R package catR. Journal of Statistical Software, 48 (8) , 1-31.
31. Maruyama, G. M. (1998). Basics of structural equation modeling. California: Sage Publications, Inc.
32. McBride, J. R. & Martin, J. T. (1983). Reliability and validity of adaptive ability tests in a military design. New horizons in testing: Latent trait test theory and computerized adaptive testing (Edt: D. J. Weiss ). New York: Academic Press.
33. McDonald, P. L. (2002). Computer adaptive test for measuring personality factors using item response theory. Unpublished Doctoral Dissertation. The University Western of Ontario, London.
34. Olsen, J. B., Maynes, D. D., Slavvson, D. & Ho, K. (1989).Comparison of paper administered, computer administered and computerized adaptive achievement tests. Journal of Educational Computing Research, 5 (31), 311-326.
35. Öztuna, D. (2008). Kas-iskelet sistemi sorunlarının özürlülük değerlendiriminde bilgisayar uyarlamalı test yönteminin uygulanmas. Yayınlanmamış Doktora Tezi. Ankara Üniversitesi Sağlık Bilimleri Enstitüsü, Ankara.
36. Patton, J. M., Cheng, Y., Yuan, K. H. & Diao, Q. (2013). The influence of item calibration error on variable-length computerized adaptive testing. Applied Psychological Measurement, 37 (1), 24-40.
37. Rudner, L. M. (1998). An on-line, Interactive computer adaptive testing mini tutorial. http://edres.org/scripts/cat/catdemo.htm. Erişim Tarihi: 02.01.2011.
38. Schermelleh-Engel, K. & Moosbrugger, H. (2003). Evaluating the fit of structural equation models: tests of significance and descriptive goodness-of-fit measures. Methods of Psychological Research Online, 8 (2), 23-74.
39. Schumacker, R. E. & Lomax, R. G. (2004). A beginner’s guide to structural equation modeling. New Jersey: Lawrence Erlbaum Associates Publishers.
40. Scullard, M. G. (2007). Application of item response theory based computerized adaptive testing to the strong interest inventory. Unpublished Doctoral Dissertation. University of Minnesota, USA.
41. Segall, D. O. (2003). Computerized adaptive testing. Encyclopedia of social measurement. www.academicpress.com/refer/measure/. Erişim Tarihi: 02.12.2011.
42. Smits, N., Cuijpers, P. & Straten, A. (2011). Applying computerized adaptive testing to the CES-D Scale: A simulation study. Psychiatry Research, 188, 145-155.
43. Somer, O. (1998). Kişilik testlerinde klasik ve modern test kuramları ile madde analizi. Türk Psikoloji Dergisi, 13, 1–15.
44. Sukamolson, S. (2002). Computerized test/item banking and computerized adaptive testing for
45. th/ITUA/Papers_for_ITUA_Proceedings/Suphat2.pdf. Erişim Tarihi: 15.11.2011.
46. Sümer, N. (2000). Yapısal eşitlik modelleri: Temel kavramlar ve örnek uygulamalar. Türk Psikoloji Yazıları, 3 (6) 49-74.
47. Tabachnick, B.G. & Fidell L.S. (2007). Using multivariate statistics. USA, Pearson Education.
48. Tian, J., Miao, D., Zhu, X. & Gong, J. (2007). An introduction to the computerized adaptive testing. US-China Education Rewiew, 4 (1), 72-81.
49. Veldkamp, B. P. & Linden. W. J. (2010). Designing item pools for adaptive testing. Elements of adaptive testing (Eds: W. J. Linden. & C.A.W. Glas). New York: Springer.
50. Wainer, H., Dorans, N. J., Flaugher, R., Green, B. F., Mislevy, R. J. Steinberg, L. & Thissen, D. (2000). Computerized adaptive testing: a primer. New Jersey: Lawrence Erlbaum Associates, Publishers.
51. Wang, H. P., Kuo, B. C., Tsai, Y. H. &Liao, C. H. (2012). A cefr-based computerized testing system for chinese proficiency. TOJET: The Turkish Journal of Educational Technology, 11 (4), 1-12.
52. Weiss, D. J. (1985). Adaptive testing by computer. Journal of Consulting and Clinical Psychology, 53 (6), 774-789.
53. Weiss, D. J. (2011). Better data from better measurements using computerized adaptive testing. Journal of Methods and Measurement in the Social Sciences, 2 (1), 1-27.
54. Way, W. D. (2006). Practical questions in introducing computerized adaptive testing for K-12 assessments(Research
55. http://education.pearsonassessments.com/NR/rdonlyres/EC965AB8-EE70-46E5