Şans Başarısının Üç-Parametreli Lojistik Modelin Psikometrik Özellikleri Üzerindeki Etkilerinin İncelenmesi

Year 2025, Volume: 2 Issue: 1, 30 - 42, 30.06.2025

İrem Çelik

Abstract

Üç parametreli lojistik model, Madde Tepki Kuramı (MTK) çerçevesinde ayırt edicilik (a), güçlük (b) ve şans başarısı (c) parametrelerini içeren bir ölçme modelidir. Bu çalışma, şans başarısı parametresinin (c) üç parametreli lojistik modelin psikometrik özellikleri üzerindeki etkilerini Madde Tepki Kuramı (MTK) ve Klasik Test Kuramı (KTK) perspektifleriyle karşılaştırmalı olarak incelemektedir. Araştırma kapsamında, c parametresinin farklı değerlerinin test güvenirliği, madde-toplam korelasyonu ve test bilgi fonksiyonu üzerindeki etkilerini izole etmek amacıyla bir Monte Carlo simülasyonu tasarlanmıştır. Simülasyon koşulları, modelin teorik gereklilikleri dikkate alınarak belirlenmiş; a ve b parametreleri rastgele seçilip tüm tekrarlarda sabit tutularak c'nin saf etkisi analiz edilmiştir. Veri üretimi ve analizleri R programlama dili kullanılarak gerçekleştirilmiştir.
Elde edilen bulgular, c parametresindeki artışın test güvenirliğini önemli ölçüde düşürdüğünü göstermektedir. Örneğin, c=0.10 iken Cronbach alfa katsayısı 0.72 olarak ölçülürken, c=0.40’ta bu değer 0.57’ye gerilemiştir. Madde-toplam korelasyonları da benzer şekilde c arttıkça zayıflamış, ortalama korelasyon 0.28’den 0.19’a düşmüştür. Bu durum, şans etkisinin hem iç tutarlılığı hem de madde geçerliliğini tehdit ettiğini ortaya koymaktadır. Test bilgi fonksiyonu analizleri ise, özellikle düşük yetenek düzeylerinde (θ<0) bilgi miktarının belirgin şekilde azaldığını ve ölçme hassasiyetinin bozulduğunu işaret etmektedir. Bu bulgular, madde geliştirme süreçlerinde şans başarısının minimize edilmesi ve test tasarımında MTK tabanlı bilgi fonksiyonu analizlerinin kullanılmasının gerekliliğini vurgulamaktadır.

Keywords

Madde Tepki Kuramı , Şans Başarısı , Üç-Parametreli Lojistik Model

References

• Baharuddin, B., Handayani, L., & Rusli, R. (2024). Enhancing biochemistry assessment quality in medical education through item response theory (IRT). Research Square. https://doi.org/10.21203/rs.3.rs-3859753/v1
• Baker, F. B. (2001). The basics of item response theory. ERIC Clearinghouse on Assessment and Evaluation.
• Banks, J., Carson, J. S., Nelson, B. L., & Nicol, D. M. (2005). Discrete-event system simulation (4th ed.). Pearson.
• Birnbaum, A. (2008). Some latent trait models and their use in inferring an examinee’s ability. In F. M. Lord & M. R. Novick (Eds.), Statistical theories of mental test scores (pp. 397–479). Addison Wesley.
• Bolt, D., & Liao, X. (2021). On the positive correlation between DIF and difficulty: A new theory on the correlation as methodological artifact. Journal of Educational Measurement, 58(4), 465–491. https://doi.org/10.1111/jedm.12302
• Brown, W. M., Templin, J., & Cohen, A. S. (2015). Model selection issues in the three parameter logistic model. Applied Psychological Measurement, 39(2), 123–138.
• Bulut, O. (2015). Applying item response theory models to entrance examination for graduate studies: Practical issues and insights. Journal of Measurement and Education in Education and Psychology, (2). https://doi.org/10.21031/epod.17523
• Camilli, G. (2018). IRT scoring and test blueprint fidelity. Applied Psychological Measurement, 42(5), 393–400. https://doi.org/10.1177/0146621618754897
• Carroll, J. B. (1945). The effect of difficulty and chance success on test reliability. Psychometrika, 10(1), 1–9.
• Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334.
• Cuhadar, C., Yang, Y., & Paek, I. (2021). The impact of ignoring guessing parameter on measurement invariance testing. Educational and Psychological Measurement, 81(4), 601–623.
• DeMars, C. (2010). Item response theory. Oxford University Press.
• DeMars, C. E., & Jurich, D. P. (2015). Guessing and differential item functioning. Educational Measurement: Issues and Practice, 34(1), 23–31.
• Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Erlbaum.
• Finch, H., & French, B. F. (2014). The impact of differential guessing on item parameter estimation. Journal of Educational Measurement, 51(3), 243–260.
• Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and applications. Springer.
• Hutchinson, T. P. (1991). Ability, partial information, guessing: Statistical modelling applied to multiple-choice tests. Rumsby Scientific Publishing.
• Ihda, M., & Retnawati, H. (2023). Analysis of the distractor of the multiple-choice test using classical test theory (CTT) and item response theory (IRT). In Proceedings of the 4th International Conference on Research of Educational Administration and Management (ICREAM 2023) (pp. 196–203).
• Kothari, C. R. (2004). Research methodology: Methods and techniques (2nd ed.). New Age International Publishers.
• Law, A. M., & Kelton, W. D. (2000). Simulation modeling and analysis (3rd ed.). McGraw-Hill.
• Lord, F. M. (1952). A theory of test scores. Psychometric Monograph, 7.
• Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). McGraw-Hill.
• Paek, I. (2014). An investigation of the impact of guessing on coefficient alpha and reliability. Applied Psychological Measurement, 39(4), 264–277.
• Paek, I. (2015). The effect of guessing parameter on reliability estimation in IRT. Educational Assessment, 20(2), 154–171.
• R Core Team. (2023). R: A language and environment for statistical computing (Version 4.3.1) [Computer software]. R Foundation for Statistical Computing. https://www.Rproject.org/
• Revelle, W. (2023). psych: Procedures for Psychological, Psychometric, and Personality Research (Version 2.3.9) [R package]. Northwestern University. https://CRAN.Rproject.org/package=psych
• Revolution Analytics. (2022). foreach: Provides Foreach Looping Construct for R (Version 1.5.2) [R package]. https://CRAN.R-project.org/package=foreach
• Samejima, F. (1994). Estimation of reliability coefficients using the test information function and its modifications. Applied Psychological Measurement, 18(3), 229–244.
• Turgut, M. F. (2017). Şans başarısının test puanlarına etkisi. Ankara Üniversitesi Yayınları.
• Wang, B., Huggins‐Manley, A., Kuang, H., & Xiong, J. (2024). Enhancing effort-moderated item response theory models by evaluating a two-step estimation method and multidimensional variations on the model. Educational and Psychological Measurement, 85(2), 401–423.
• Weston, S., & Microsoft Corporation. (2022). doParallel: Foreach Parallel Adaptor for the 'parallel' Package (Version 1.0.17) [R package]. https://CRAN.R-project.org/package=doParallel
• Wise, S. L., Bhola, D. S., & Yang, S. (2006). Taking the time to improve the validity of low stakes tests: The effort‐monitoring CBT. Educational Measurement: Issues and Practice, 25(2), 21–30. https://doi.org/10.1111/j.1745-3992.2006.00054.x
• Zimmerman, D. W., & Williams, R. H. (2003). A new look at the influence of guessing on the reliability of multiple-choice tests. Applied Psychological Measurement, 27(5), 357-371.