Türkçe Yeterlik Testinin Psikometrik Özelliklerinin Klasik Test Kuramı ve Madde Tepki Kuramına Göre İncelenmesi: Maarif Türkçe Sınavı (MTS) Okuma Alt Testi Örneği

Öz

Bu araştırmanın amacı, yabancı dil olarak Türkçe öğrenenlerin Türkçe yeterlik düzeylerini belirlemede kullanılan MTS’nin okuma alt testinin psikometrik özelliklerini KTK ve MTK çerçevesinde incelemektir. Temel araştırma modeliyle desenlenen çalışmada, veri toplama aracı olarak MTS okuma alt testi kullanılmış ve çalışma 2025 yılında bu sınava katılan 1452 yabancı dil olarak Türkçe öğrencisinin verileri üzerinden yürütülmüştür. Veri analizi sürecinde R Studio, SPSS ve Jamovi programları kullanılmıştır. Araştırmada MTK varsayımları paralel analiz, DETECT ve Q3 istatistiği ile test edilmiştir. Verilerin orta düzeyde çok boyutlu bir yapı göstermesi sebebiyle MTK analizleri M2PL modeli kullanılarak yürütülmüştür. Araştırmada KTK’ya göre hesaplanan madde güçlük indeksi ile MTK’ya göre kestirilen b parametresi arasında orta düzeyde ilişki, KTK’ya göre hesaplanan madde ayırt edicilik indeksi ile MTK’ya göre kestirilen a parametresi arasında ise yüksek düzeyde ilişki bulunmuştur. Ayrıca KTK’ya dayalı ham puanlar ile MTK’ya göre kestirilen yetenek parametreleri arasında da yüksek düzeyde ilişki saptanmıştır. Buna karşın ilişkili örneklemler için t-testi ve Bland–Altman analizi sonuçları, iki kuramdan elde edilen puanların alt boyutlar düzeyinde anlamlı farklılıklar gösterdiğini ve birbirlerinin yerine kullanılabilir olmadığını ortaya koymuştur. Araştırma sonucunda, geniş ölçekli dil yeterlik sınavlarında ölçme kuramı seçiminin ölçme kararları üzerinde etkili olduğu belirlenmiştir.

Anahtar Kelimeler

• Maarif Turkish exam
• classical test theory
• ıtem response theory
• multidimensional ıtem response theory

Destekleyen Kurum

Bu çalışma, Türkiye Maarif Vakfı tarafından desteklenmiş ve vakfın sağladığı imkânlar doğrultusunda gerçekleştirilmiştir.

Etik Beyan

Bu çalışmanın tasarım, veri toplama, analiz ve raporlama dâhil olmak üzere tüm aşamalarında bilimsel araştırma ve yayın etiği ilkelerine titizlikle uyulmuştur. Çalışma kapsamında herhangi bir etik ihlal yapılmamış ve tüm süreçler akademik dürüstlük çerçevesinde yürütülmüştür.

Teşekkür

Çalışmaya sağladıkları kurumsal destek ve katkılarından dolayı Türkiye Maarif Vakfı'na teşekkür ederiz.

Psychometric Examination of a Turkish Language Proficiency Test Based on Classical Test Theory and Item Response Theory: The Case of the Reading Subtest of the Maarif Turkish Exam (MTS)

Öz

The aim of this study is to examine the psychometric properties of the reading subtest of the MTS, which is used to determine the Turkish language proficiency levels of learners of Turkish as a foreign language, within the frameworks of CTT and IRT. Designed as a basic research study, the reading subtest of the MTS was employed as the data collection instrument, and the study was conducted using data obtained from 1452 learners of Turkish as a foreign language who took the exam in 2025. Data analyses were carried out using R Studio, SPSS, and Jamovi software packages. IRT assumptions were tested through parallel analysis, DETECT, and Q3 statistic. As the data exhibited a moderate level of multidimensionality, IRT analyses were conducted using the M2PL model. The findings revealed a moderate relationship between item difficulty indices calculated under CTT and the b parameters estimated under IRT, and a high relationship between item discrimination indices and the a parameters. In addition, a high relationship was found between CTT-based raw scores and IRT-based ability estimates. However, the results of paired-samples t-tests and Bland–Altman analyses indicated that scores obtained from the two theories differed significantly at the sub-dimension level and could not be used interchangeably. Overall, the findings demonstrate that the choice of measurement theory plays a critical role in measurement decisions in large-scale language proficiency assessments.

Anahtar Kelimeler

• Maarif Turkish exam
• classical test theory
• ıtem response theory
• multidimensional ıtem response theory

Destekleyen Kurum

This study was supported by the Türkiye Maarif Foundation and was carried out using the resources provided by the Foundation.

Etik Beyan

In all stages of this study, including the design, data collection, analysis, and reporting processes, the principles of scientific research and publication ethics were strictly observed. No ethical violations were committed during the study, and all procedures were conducted in accordance with the principles of academic integrity.

Teşekkür

We would like to thank the Türkiye Maarif Foundation for its institutional support and contributions to this study.

Kaynakça

1. Acar, T. (2015). An Investigation of Agreement Between the Item Difficulty Coefficient Calculated in Accordance With Classical Test Theory and Item Response Theory With Bland–Altman Method. Communications in Statistics - Theory and Methods, 44(21), 4614-4621. doi: 10.1080/03610926.2013.793353
2. Akyıldız, M., & Şahin, M. D. (2017). Açıköğretimde kullanılan sınavlardan Klasik Test Kuramına ve Madde Tepki Kuramına göre elde edilen yetenek ölçülerinin karşılaştırılması. AUAd, 3(4), 141-159. Retrieved from https://izlik.org/JA74ME75KS
3. Alderson, J. C., Brunfaut, T., & Harding, L. (2014). Towards a theory of diagnosis in second and foreign language assessment: Insights from professional practice across diverse fields. Applied Linguistics, 36(2), 236–260. https://doi.org/10.1093/applin/amt046
4. ALTE. (1998). Multilingual glossary of language testing terms. Cambridge, England: Cambridge University Press.
5. Avinç, E. (2023). Ortaokul öğrencilerine yönelik Metaverse korku ölçeğinin psikometrik özelliklerinin Klasik Test Kuramı ve Madde Tepki Kuramına göre incelenmesi (Yayımlanmamış yüksek lisans tezi). Çanakkale Onsekiz Mart Üniversitesi Lisansüstü Eğitim Enstitüsü, Çanakkale.
6. Bachman, L., & Palmer, A. (1996). Language testing in practice: Designing and developing useful language test. Oxford, England: Oxford University Press.
7. Baker, F. B. (2001). The basics of item response theory. USA: ERIC Clearinghouse on Assessment and Evaluation.
8. Başarır Erden, D. B. (1997). Örtük özellikler ve Klasik Test Teorisi yaklaşımına dayalı olarak geliştirilen Likert tipi tutum ölçeğinin psikometrik özelliklerinin karşılaştırılması (Yayımlanmamış doktora tezi). Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.

9. Baykul, Y. (1979). Örtük özellikler ve Klasik Test Kuramları üzerine bir araştırma (Yayımlanmamış doktora tezi). Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
10. Baykul, Y. (2024). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara: Pegem Akademi. Berberoğlu, G. (1989). Erişi testlerine madde seçiminde Klasik Test Kuramı ve Rasch modelinin karşılaştırılması. Eğitim ve Bilim, 13(74), 61-67. Retrieved from https://educationandscience.ted.org.tr/article/view/124
11. Bonifay, W., Reise, S. P., Scheines, R., & Meijer, R. R. (2015). When are multidimensional data unidimensional enough for structural equation modeling? An evaluation of the DETECT multidimensionality index. Structural Equation Modeling, 22(4), 504–516. doi: 10.1080/10705511.2014.938596
12. Brown, H. D. (2004). Language assessment: Principles and classroom practices. USA: Pearson Education, Inc. CEFR. (2001). Common European Framework of Reference for Languages: Learning, teaching, assessment. Cambridge, England: Cambridge University Press.
13. CEFR. (2018). Common European Framework of Reference for Languages: Learning, teaching, assessment companion volume with new descriptors. Strasbourg, France: Council of Europe.
14. Conelly, L. M. (2008). Bland-Altman plots. MEDSURG Nursing, 17(3), 175–176. https://doi.org/10.12968/bjon.2008.17.7.29056
15. Courville, T. G. (2004). An empirical comparison of Item Response Theory and Classical Test Theory item/person statistics (Yayımlanmamış doktora tezi). Texas A&M University, Texas.
16. Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. USA: CBS College Publishing Company.
17. Çelen, Ü. (2008). Klasik Test Kuramı ve Madde Tepki Kuramı yöntemleriyle geliştirilen iki testin geçerlilik ve güvenilirliğinin karşılaştırılması. İlköğretim Online, 7(3), 758-768. Retrieved from https://izlik.org/JA54FR94UB
18. Çelen, Ü., & Aybek, E. C. (2013). Öğrenci başarısının öğretmen yapımı bir testle Klasik Test Kuramı ve Madde Tepki Kuramı yöntemleriyle elde edilen puanlara göre karşılaştırılması. Journal of Measurement and Evaluation in Education and Psychology, 4(2), 64-75. https://doi.org/10.21031/epod.77213
19. Çobanoğlu Aktan, D. (2025). Klasik Test Kuramı, güvenirlik ve geçerlik. N. Güler vd. (Ed.), R ile psikometri içinde. Ankara: Pegem Akademi.
20. Çörtük, M. (2022). Çok kategorili puanlanan maddelerden oluşan testlerde Klasik Test Kuramı ve Madde Tepki Kuramı’na dayalı test eşitleme yöntemlerinin karşılaştırılması (Yayımlanmamış yüksek lisans tezi). Akdeniz Üniversitesi Eğitim Bilimleri Enstitüsü, Antalya.
21. Çüm, S. (2019). Sato Test Kuramı'nın Klasik Test Kuramı ve Madde Tepki Kuramı ile psikometrik açıdan karşılaştırılması (Yayımlanmamış doktora tezi). Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.
22. DeMars, C. (2010). Item response theory. New York, NY: Oxford University Press.
23. DeVellis, R. F. (2017). Scale development: Theory and applications. Thousand Oaks, CA: Sage.
24. Dilek, H. (2021). Eğitim değeri algısı ölçeğinin psikometrik özelliklerinin Klasik Test Kuramı ve Madde Tepki Kuramına göre incelenmesi (Yayımlanmamış yüksek lisans tezi). Hasan Kalyoncu Üniversitesi Sosyal Bilimler Enstitüsü, Gaziantep.
25. Doğan, C. D., & Aybek, E. C. (2021). R Shiny ile psikometri ve istatistik uygulamaları. Ankara: Pegem Akademi. Dündar, M. (2019). Geliştirilen genel yetenek testinin psikometrik özelliklerinin Klasik Test Kuramı ve Madde Tepki Kuramına göre incelenmesi (Yayımlanmamış yüksek lisans tezi). Hasan Kalyoncu Üniversitesi Sosyal Bilimler Enstitüsü, Gaziantep.
26. Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Mahwah, NJ: Erlbaum. Fan, X. (1998). Item response theory and classical test theory: An empirical comparison of their item-person statistics. Educational and Psychological Measurement, 58(3), 357-381. https://doi.org/10.1177/00131644980580030
27. Farhady, H., & Selcuk, M. (2022). Classroom-based diagnostic assessment practices of EFL instructors. Iranian Journal of Language Teaching Research, 10(1), 77-94. doi: 10.30466/ijltr.2022.121184
28. Ferhan, M. (2018). PISA 2012 matematik ilgi ölçeğinin Klasik Test Kuramı ve Madde Tepki Kuramına göre psikometrik özellikleri (Yayımlanmamış yüksek lisans tezi). Hasan Kalyoncu Üniversitesi Sosyal Bilimler Enstitüsü, Gaziantep.
29. Fraenkel, J. R., Wallen, N. E., & Hyun, H. H. (2012). How to design and evaluate research in education (8. Baskı). New York, NY: McGraw-Hill.
30. Fulcher, G. (1997). An English language placement test: Issues in reliability and validity. Language Testing, 14(2), 113–139. https://doi.org/10.1177/026553229701400
31. Gierl, M. J., Leighton, J. P., & Tan, X. (2006). Evaluating DETECT classification accuracy and consistency when data display a complex structure. Journal of Educational Measurement, 43(3), 265–289. https://doi.org/10.1111/j.1745-3984.2006.00016.x
32. Gonzalez Pino, B. (1998). Prochievement testing of speaking: Matching instructor expectations, learner proficiency level, and task type. Texas Papers in Foreign Language Education, 3(3), 119-133. Retrieved from https://files.eric.ed.gov/fulltext/ED427522.pdf
33. Güler, N. (2008). Klasik test kuramı genellenebilirlik kuramı ve Rasch modeli üzerine bir araştırma (Yayımlanmamış yüksek lisans tezi). Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
34. Hambleton, R. K., & Jones, R. W. (1993). Comparison of Classical Test Theory and Item Response Theory and Their Applications to Test Development. Educational Measurement: Issues and Practice, 12(3), 38-47. doi: 10.1111/j.1745-3992.1993.tb00543.x
35. Hambleton, R. K., Robin, F., & Xing, D. (2000). Item response models for the analysis of educational and psychological test data. H. Tinsley ve S. Brown (Eds.), Handbook of applied multivariate statistics and modelling içinde. San Diego, CA: Academic Press.
36. Horn, J. L. (1965). A rationale and test for the number of factors in factor analysis. Psychometrika, 30(2), 179–185. doi: 10.1007/BF02289447
37. Hughes, A. (1989). Testing for language teachers. Cambridge, England: Cambridge University Press. Hwang, D. Y. (2002). Classical Test Theory and Item Response Theory: Analytical and empirical comparison. Paper presented at the Annual Meeting of the Southwest Educational Research Association, Austin, TX.
38. Kan, A. (2006). Klasik Test Teorisine ve Örtük Özellikler Teorisine Göre Kestirilen Madde Parametrelerinin Karşılaştırılması Üzerine Ampirik Bir Çalışma. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 2(2), 227-235. https://doi.org/10.17860/efd.86348
39. Kelecioğlu, H. (2001). Örtük özellikler teorisindeki b ve a parametreleri ile klasik test teorisindeki p ve r istatistikleri arasındaki ilişki. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20, 104-110. Retrieved from https://izlik.org/JA53ZT57ZW
40. Kelley, T. L. (1939). Selection of upper and lower groups for the validation of test items. Journal of Educational Psychology, 30(1), 17-24. https://doi.org/10.1037/h0057123
41. Kiany, G. R., & Jalali, S. (2009). Theoretical and practical comparison of classical test theory and item response theory. International Journal of Active Learning, 12(1), 167-197. Retrieved from https://ijal.khu.ac.ir/article-1-62-en.pdf
42. Koğar, H. (2018). An examination of parametric and nonparametric dimensionality assessment methods with exploratory and confirmatory mode. Journal of Education and Learning, 7(4), 148-158. doi:10.5539/jel.v7n3p148
43. Koğar, H. (2023). R ile geçerlik ve güvenirlik analizleri. Ankara: Pegem Akademi.
44. Köse, A. (2015). Aşamalı tepki modeli ve klasik test kuramı altında elde edilen test ve madde parametrelerinin karşılaştırılması. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 15(2), 184-197. https://doi.org/10.17240/aibuefd.2015.15.2-5000161319
45. Ladesma, R. D., & Valero-Mora, P. (2007). Determining the number of factors to retain in EFA: An easy-to-use computer program for carrying out parallel analysis. Practical Assessment, Research and Evaluation, 12(2), 1-11. Retrieved from https://openpublishing.library.umass.edu/pare/article/1407/galley/1358/view/
46. MacDonald, P., & Paunonen, S. V. (2002). A Monte Carlo comparison of item and person statistics based on Item Response Theory versus Classical Test Theory. Educational and Psychological Measurement, 62(6), 921-943. doi: 10.1177/0013164402238082
47. Messick, S. (1995). Standards of validity and the validity of standards in performance assessment. Educational Measurement: Issues and Practice, 14(4), 5-8. https://doi.org/10.1111/j.1745-3992.1995.tb00881.x
48. Nartgün, Z. (2002). Aynı tutumu ölçmeye yönelik Likert tipi ölçek ile metrik ölçeğin madde ve ölçek özelliklerinin Klasik Test Kuramı ve Örtük Özellikler Kuramına göre incelenmesi (Yayımlanmamış doktora tezi). Hacettepe Üniversitesi, Ankara.
49. Nering, M. L., & Ostini, R. (2010). Handbook of polytomous item response theory models. New York, NY: Routledge.
50. Nitko, A. J., & Brookhart, S. M. (2014). Educational assessment of students. USA: Pearson.
51. O’Connor, B. P. (2000). SPSS and SAS programs for determining the number of components using parallel analysis and Velicer’s MAP test. Behavior Research Methods, Instruments, & Computers, 32(3), 396-402. doi: 10.3758/bf03200807
52. Özer Özkan, Y. (2014). Öğrenci başarılarının belirlenmesi sınavından klasik test kuramı, tek ve çok boyutlu madde tepki kuramı modelleri ile kestirilen başarı puanlarının karşılaştırılması. International Journal of Human Sciences, 11(1), 20-44. doi: 10.14687/ijhs.v11i1.2739
53. Progar, Š., & Sočan, G. (2008). An empirical comparison of Item Response Theory and Classical Test Theory. Horizons of Psychology, 17(3), 5-24. https://doi.org/10.24315/tred.700445
54. Reise, S. P., Ainsworth, A. T., & Haviland, M. G. (2005). Item response theory: Fundamentals, applications, and promise in psychological research. Current Directions in Psychological Science, 14(2), 95-101. Retrieved from https://journals.uni-lj.si/psiholoska-obzorja/article/download/20972/17291/69557
55. Roussos, L. A., & Ozbek, O. Y. (2006). Formulation of the DETECT population parameter and evaluation of DETECT estimator bias. Journal of Educational Measurement, 43(3), 215–243. https://doi.org/10.1111/j.1745-3984.2006.00014.x
56. Selçuk, M., & Uçar, T. (2023). İkinci/yabancı dil öğretiminde ölçme ve değerlendirme. Ankara: Altınbaş Üniversitesi Yayınları.
57. Somer, O. (1998). Kişilik testlerinde klasik ve modern test kuramları ile madde analizi. Türk Psikoloji Dergisi, 13(41), 1-15. Retrieved from https://psikolog.org.tr/tr/yayinlar/dergiler/1031828/tpd1300443319980000m000251.pdf?v=1703366310 Spearman, C. (1904). The proof and measurement of association between two things. The American Journal of Psychology, 15(1), 72-101. Retrieved from https://webspace.ship.edu/pgmarr/Geo441/Readings/Spearman%201904%20-%20The%20Proof%20and%20Measurement%20of%20Association%20between%20Two%20Things.pdf
58. Stage, C. (1998). Item analysis based on item response theory and on classical test theory: A comparison. Paper presented at the International SweSAT Conference, San Diego, CA.
59. Stage, C. (2003). Classical test theory or item response theory: The Swedish experience (Report No. 42). Umeå: Department of Educational Measurement.
60. Şenel, S. (2023). Bilgisayar ortamında bireye uyarlanmış testler. Ankara: Pegem Akademi.
61. Thorndike, R. M., & Thorndike-Christ, T. (2014). Measurement and evaluation in psychology and education (8. Baskı). London, England: Pearson Education Limited.
62. Timmerman, M. E., & Lorenzo-Seva, U. (2011). Dimensionality assessment of ordered polytomous items with parallel analysis. Psychological Methods, 16(2), 209–220. doi: 10.1037/a0023353
63. Tunaboylu, O. (2021). Types of test. S. İnal ve O. Tunaboylu (Ed.), Language assessment theory with practice içinde. Ankara: Akademik Yayıncılık.
64. Türkiye Maarif Vakfı. (2020). Türkçenin yabancı dil olarak öğretim programı. İstanbul: TMV Yayınları.
65. Uysal, M. (2015). Araştırma özyeterlik ölçeğinin psikometrik özelliklerinin Klasik Test Kuramı ve Madde Tepki Kuramına göre incelenmesi (Yayımlanmamış yüksek lisans tezi). Gazi Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.
66. Watkins, M. W. (2006). Determining parallel analysis criteria. Journal of Modern Applied Statistical Methods, 5(2), 344-346. doi: 10.22237/jmasm/1162354020
67. Wiberg, M. (2004). Classical Test Theory vs. Item Response Theory: An evaluation of the theory test in the Swedish driving-license test. Umeå: Umeå University.
68. Wood, J. M., Tataryn, D. J., & Gorsuch, R. L. (1996). Effects of under- and overextraction on principal axis factor analysis with varimax rotation. Psychological Methods, 1(4), 354-365. https://doi.org/10.1037/1082-989X.1.4.354
69. Yen, W. M. (1984). Effects of local item dependence on the fit and equating performance of the three-parameter logistic model. Applied Psychological Measurement, 8(2), 125–145. https://doi.org/10.1177/014662168400800201
70. Zhang, J., & Stout, W. (1999). The theoretical DETECT index of dimensionality and its application to approximate simple structure. Psychometrika, 64(2), 213–249. https://doi.org/10.1007/BF02294536
71. Zwick, W. R., & Velicer, W. F. (1986). Comparison of five rules for determining the number of components to retain. Psychological Bulletin, 99(3), 432-442. https://doi.org/10.1037/0033-2909.99.3.432