Investigation of Delta and Bootstrap Methods for Calculating Error of Test Equation in IRT in Terms of Some Variables

Abstract

After investigation of the literature, it can be seen that there are lots of studies about test equating and its benefits. However, besides its good sides, it has some limitations, and it can be said that the most known one of them is test equating error. In this study, it is aimed the examination of Item Response Theory observed and true score equating errors, obtained using TIMMS 2015 4th Grade math data by bootstrap and delta methods, according to different sample sizes and scale transformation methods. The study is a descriptive research in terms of investigating one method in a more detailed way, and according to different variables. It is used randomly chosen 500, 1000, and 3000 sized samples from the countries (Australia, Canada, Italia, Spain, Croatia, Slovak republic, New Zealand, Turkey, and Georgia) above and below center point (500) of TIMMS success scale. To determine which one would be used among 14 types of TIMMS 2015 booklets, it was controlled Item Response Theory assumptions, and it was chosen the pair of booklets, having all acceptable model fit indices. As results of the analysis, it was observed that for both methods, scale transformation method, having smallest equating errors, was Stocking Lord, and that for all sample sizes, errors estimated by bootstrap method were smaller than one by delta.

Keywords

• Standard error of equating
• Delta method
• Bootstrap

Madde Tepki Kuramında Eşitleme Hatalarının Belirlenmesinde Kullanılan Delta ve Bootstrap Yöntemlerinin Çeşitli Değişkenlere Göre İncelenmesi*

Abstract

Alan yazın incelendiğinde test eşitleme ve faydaları ile ilgili birçok çalışmanın olduğu görülmektedir. Ancak test eşitlemelerin faydalarının yanı sıra sınırlılıkları da vardır. Bunlardan en bilineninin eşitleme hataları olduğu söylenebilir. Bu araştırmada TIMMS 2015 4. sınıf matematik verisi kullanılarak bootstrap ve delta yöntemleri ile elde edilen Madde Tepki Kuramı gözlenen ve gerçek puan eşitleme hatalarının farklı örneklem büyüklükleri ve ölçek dönüştürme yöntemlerine göre incelenmesi amaçlanmıştır. Çalışma bir yöntemin daha kapsamlı ve farklı değişkenler açısından incelenmesi yönüyle betimsel bir çalışmadır. Çalışmada birey yetenek düzeylerinin yakın olması amaçlanarak, TIMMS başarı ölçeğinin orta noktasının (500) üstünde ve altında yer alan ülkelerin (Avusturalya, Kanada, İtalya, İspanya, Hırvatistan, Slovak Cumhuriyeti, Yeni Zelanda, Türkiye ve Gürcistan) verisi içinden rastgele olarak seçilmiş 500, 1000 ve 3000 kişilik örneklemler kullanılmıştır. TIMMS 2015 sınavında kullanılan 14 kitapçık türünden hangisinin kullanılacağının belirlenmesi amacıyla Madde Tepki Kuramı varsayımları incelenmiş ve kitapçıklar arasından model uyum indekslerinin hepsinin kabul edilebilir düzeyde olduğu kitapçık çifti seçilmiştir. Yapılan analizler sonucunda genel olarak her iki yöntemde de en düşük hata değerlerinin Stocking Lord yönteminde elde edildiği ve delta yöntemiyle elde edilen hataların tüm örneklem büyüklüğünde bootstrap yönteminde elde edilen hatalardan yüksek olduğu bulunmuştur.

Keywords

• Eşitlemenin standart hatası
• Delta yöntemi
• Bootstrap

References

1. Aksekioğlu, B. (2017). Madde tepki kuramına dayalı test eşitleme yöntemlerinin karşılaştırılması: PISA 2012 fen testi örneği (Yayınlanmamış yüksek lisans tezi). Akdeniz Üniversitesi, Eğitim Bilimleri Enstitüsü. Mersin. Retrieved from http://acikerisim.akdeniz.edu.tr/xmlui/handle/123456789/3143.
2. Angoff, W. H. (1971). Scales, norms and equivalent scores. In R. L. Thorndike (Ed.), Educational measurement (pp. 508-600). Washington: American Council on Education.
3. Akın-Arıkan, Ç. (2017). Kernel eşitleme ve madde tepki kuramına dayalı eşitleme yöntemlerinin karşılaştırılması, (Yayınlanmamış doktora tezi). Hacettepe Üni&rsitesi, Eğitim Bilimleri Enstitüsü. Ankara. Retrieved from http://www.openaccess.hacettepe.edu.tr:8080/xmlui/handle/11655/3902
4. Baker, F.B., & Al-Karni, A. (1991). A Comparison of Two Procedures for Computing IRT Equating Coefficients. Journal of Educational Measurement, 28 (2), 147- 162, DOI: 10.1111/j.1745-3984.1991.tb00350.x
5. Battauz, M. (2013). IRT test equating in complex linkage plans. Psychometrika, 78(3), 464–480. DOI:10.1007/s11336- 012-9316-y
6. Battauz, M. (2015). equateIRT: An R package for IRT test equating. Journal of Statistical Software, 68(1), 1-22. Retrieved from https://www.jstatsoft.org/article/view/v068i07
7. Bozdağ, S., & Kan, A. (2010). Şans başarısının test eşitlemeye etkisi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 39(39), 91-108. Retrieved from https://dergipark.org.tr/en/pub/hunefd/issue/7799/102166
8. Büyüköztürk, Ş. (2017). Sosyal bilimler için veri analizi el kitabı (23. Baskı). Ankara: Pegem Akademik Yayıncılık.

9. Büyüköztürk, Ş., Çakmak, K. E., Akgün, E. Ö., Karadeniz, Ş., & Demirel, F. (2014). Bilimsel araştırma yöntemleri. Ankara: Pegem Akademi.
10. Byrne, B. M. (2013). Structural equation modeling with Mplus: Basic concepts, applications, and programming. routledge. DOI: 10.4324/9780203807644
11. Cook, L. L., & Eignor, D. R. (1991). IRT equating methods. Educational Measurement: Issues and Practice, 10 (3), 37–45, DOI: 10.1111/j.17453992.1991.tb00207.x
12. Çağlak,S. (2015). The use of a Meta-Analysıs Technıque in Equatıng and Its Comparıson wıth Several Small Sample Equatıng Methods. Doktora Tezi, Florida Universitesi,USA.Retrieved from https://www.proquest.com/docview/1759157142?pqorigsite= gscholar&fromopenview=true
13. Demir, S., & Güler, N. (2014). Study of test equating on the common item nonequivalent group design Ortak maddeli denk olmayan gruplar desenine ilişkin test eşitleme çalışması. Journal of Human Sciences, 11(2), 190-208. Retrieved from https://www.jhumansciences.com/ojs/index.php/IJHS/article/view/2870
14. Demirus, K. B., & Gelbal, S. (2016). Ortak maddelerin değişen madde fonksiyonu gösterip göstermemesi durumunda test eşitlemeye etkisinin farklı yöntemlerle incelenmesi. Journal of Measurement and Evaluation in Education and Psychology, 7(1), 182-201. DOI: 10.21031/epod.56218
15. Efron, B., & Tibshirani, R. J. (1994). An introduction to the bootstrap. CRC press.
16. Embretson, S. E. V., & Reise, S. P. (2000). Item response theory for psychologists. New Jersey: Lawrence Erlbaum Associates, Inc.
17. Felan, G. D. (2002). Test equating: Mean, linear, equipercentile and item response theory. Paper presented at the annual meeting of the Southwest Educational Research Association (Austin, TX, February 14-16, 2002).
18. Gök,B. (2012). Denk olmayan gruplarda ortak madde deseni kullanılarak madde tepki kuramına dayalı eşitleme yöntemlerinin karşılaştırılması (Yayımlanmamış Doktora tezi). Hacettepe Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara. Retrieved from http://www.openaccess.hacettepe.edu.tr:8080/xmlui/bitstream/handle/11655/1767/c8ab915b-7862-4913-a87f-4195e382ef66.pdf?sequence=1
19. Gök, B. , & Kelecioğlu, H. (2014). Denk olmayan gruplarda ortak madde deseni kullanılarak madde tepki kuramına dayalı eşitleme yöntemlerinin karşılaştırılması. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 10(1), 120-136. Retrieved from https://dergipark.org.tr/en/pub/mersinefd/issue/17393/181786?publisher=mersin?publisher=mersin?publisher=mersin?publisher=mersin
20. Gül, E., Gül, Ç. D., Bökeoğlu, Ö. Ç., & Özkan, M. (2017). Temel Eğitimden Ortaöğretime Geçiş Matematik Alt Testi Asıl Sınav Ve Mazeret Sınavlarının Madde Tepki Kuramına Göre Eşitlenmesi. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 17(4), 1900-1915. DOI: 10.17240/aibuefd.2017.17.32772-363973
21. Hambleton, R. K., Swaminathan, H. & Rogers, H. J. (1991). Fundamentals of Item Response Theory. USA: Sage.
22. Hanson, B. A., & Beguin, A. A. (2002). Obtaining a common scale for item response theory item parameters using seperate versus concurrent estimation in the common-item equating design. Applied Psychological Measurement, 26 (3), 3- 24. DOI: 10.1177%2F0146621602026001001
23. Kilmen, S. (2010). Madde tepki kuramına dayalı test eşitleme yöntemlerinden kestirilen eşitleme hatalarının örneklem büyüklüğü ve yetenek dağılımına göre karşılaştırılması. Yayımlanmamış Doktora Tezi, Ankara: Ankara Üniversitesi Eğitim Bilimleri Enstitüsü. Retrieved from https://dspace.ankara.edu.tr/xmlui/handle/20.500.12575/34147
24. Kim, S., & Kolen, M. J. (2007). Effects on scale linking of different definitions of criterion functions for the IRT characteristic curve methods. Journal of Educational and Behavioral Statistics, 32(4), 371-397. DOI: 10.3102/1076998607302632
25. Kolen, M. J. (1988). Traditional Equating Methodology. Educational Measurement: Issues and Practice, 7 (4), 29-36. DOI: 10.1111/j.1745-3992.1988.tb00843.x
26. Kolen, M. J., & Brennan, R. L. (2004). Test equating, scalling and linking (SecondEdition). USA: Springer.
27. Li, D., Jiang, Y., & von Davier, A. A. (2012). The Accuracy and Consistency of a Series of IRT True Score Equatings. Journal of Educational Measurement, 49(2), 167–189. Retrieved from http://www.jstor.org/stable/41653582
28. Livingstone, S. A. (2004). Equating test scores (Without IRT). Educational Testing Service. Retrieved from https://www.ets.org/Media/Research/pdf/LIVINGSTON.pdf
29. Lord, F. M. (1980). Applications of Item Response Theory to Practical Testing Problems. Hillsdale, NJ: Erlbaum.
30. Loyd, B. H., & Hoover, H. D. (1980). Vertical equating using the rasch model. Journal of Educational Measurement, 17(3), 179–193. DOI:10.1111/j.1745- 3984.1980.tb00825.x
31. MEB (2011). TIMSS 2007 ulusal matematik ve fen raporu 8. Sınıflar. Ankara: Hermes. Retrieved from https://timss.meb.gov.tr/www/raporlar/icerik/3
32. Michaelides, M. P. (2003). Effects of common-item selection on the accuracy of item response theory test equating with nonequivalent groups. Stanford University. Retrieved from https://www.proquest.com/docview/305304806?pq - origsite=gscholar&fromopenview=true
33. Muthén, L. K., & Muthén, B. O. (2010). 1998–2010 Mplus user‘s guide. Muthén and Muthén, 39-49. Retrieved from https://www.statmodel.com/download/usersguide/MplusUserGuideVer_8.pdf
34. Ogasawara, H. (2001). Standard Errors of Item Response Theory Equating/Linking by Response Function Methods. Applied Psychological Measurement, 25 (1), 53– 67. DOI: 10.1177%2F01466216010251004
35. Öztürk, N., & Anıl, D. (2012). Akademik personel ve lisansüstü eğitimi giriş sınavı puanlarının eşitlenmesi üzerine bir çalışma. Eğitim ve Bilim, 37(165). Retrieved from http://eb.ted.org.tr/index.php/EB/article/view/1141
36. Popham, W.J. (1999). "Why standardized tests don't measure educational quality". Educational Leadership. 56 (6): 8–15.
37. Patton, J. M., Cheng, Y., Yuan, K. H., & Diao, Q. (2014). Bootstrap standard errors for maximum likelihood ability estimates when item parameters are unknown. Educational and Psychological Measurement, 74(4), 697–712. DOI: 10.1177/0013164413511083
38. Revelle, W. (2012). Procedures for psychological, psychometric, and personality research. Acesso em, 9. Retrieved from https://cran.rproject. org/web/packages/psych/psych.pdf
39. Schermelleh-Engel, K., Moosbrugger, H., & Müller, H. (2003). Evaluating the fit of structural equation models: Tests of significance and descriptive goodness-offit measures. Methods of psychological research online, 8(2), 23-74. Retrieved from-http://citeseerx.ist.psu.edu/viewdoc/download doi=10.1.1.509.4258&rep=rep1 &type=pdf
40. Tekin, H. (2009). Eğitimde ölçme ve değerlendirme. Ankara: Yargı.
41. Tsai, T. H., Hanson, B. A., Kolen, M. J., & Forsyth, A. R. A. (2001). A comparison of bootstrap standard errors of IRT equating methods for the common-item nonequivalent groups design. Applied Measurement in Education, 14(1), 17–30. DOI:10.1207/S15324818AME1401_03
42. Turgut, M. F. , & Baykul, Y. (2012). Eğitimde ölçme ve değerlendirme (Dördüncü Baskı). Ankara: Pegem Akademi.
43. Uyar, Ş., Aksekioğlu, B., & Öztürk Gübeş, N. (2020). Comparison of Different Scale Linking Methods in PISA 2012 Mathematics Literacy Test. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 46, 121-148. Retrieved from https://acikerisim.mehmetakif.edu.tr/xmlui/handle/11672/3258.
44. Velhelst, N. D. (2004). Reference Supplemented to The Preliminary Pilot Version of The Manuel for Relating Language Examinations to the Common European Framework Of Reference for Languages: Learning, Teaching, Assessment, Section G: Item Response Theory. DGIV/EDU/LANG (2004) 13, Council of Europe Language Policy Division, Strasbourg.
45. Way, W. D., & Tang, K. L. (1991). A Comparison of Four Logistic Model Equating Methods. Paper presented at the Annual Meeting of the American Educational Research Association, Chicago, IL.
46. Zeng, L. (1991). Standard Errors of Linear Equating for the Single-Group Design. Retrieved from https://www.act.org/content/dam/act/unsecured/documents/ACT_RR91-04.pdf
47. Zhang, Z. (2020). Estimating standard errors of IRT true score equating coefficients using imputed item parameters. The Journal of Experimental Education, 1-23. DOI: 10.1080/00220973.2020.1751579