Diverse Approaches to Statistical Validity/Validation in Leisure Studies: Rasch Analysis

Abstract

Statistical validity is generally handled with classical test theory in leisure studies. Item response theory, which is considered within modern test theory, brings a different approach to construct validity. Item response theory and Rasch models have not yet been applied in any recreation study in Turkey. The aim of this study is to draw attention to the contributions that the Rasch model, which represents item response theory, can make to our field when evaluated together with classical test theory. In order to demonstrate the construct validity, Rasch models and different explorotary factor analysis were conducted together on a data set collected for leisure motivation. The results are comparatively evaluated in terms of their practical implications.

Keywords

• Leisure motivation
• Item response the￾ory
• Rasch model

Boş Zaman Çalışmalarında İstatistiksel Geçerlik/Doğrulama Üzerine Farklı Yaklaşımlar: Rasch Analizi

Öz

Boş zaman çalışmalarında genel olarak istatistiksel geçerlik, klasik test teorisi ile ele alınmaktadır. Modern test kuramı içinde ele alınan madde tepki kuramı, yapısal geçerliğe farklı bir yaklaşım getirmektedir. Madde tepki kuramı ve Rasch modelleri, ülkemizde herhangi bir rekreasyon çalışmasında henüz uygulanmamıştır. Bu çalışmanın amacı madde tepki kuramını temsil eden Rasch modelinin klasik test kuramı ile birlikte değerlen￾dirildiğinde alanımıza yapabileceği katkılara dikkat çekmektir. Yapısal geçerliği ortaya koymak amacıyla boş zaman motivasyonu için toplanmış bir veri seti üzerinden Rasch modelleri ve farklı açımlayıcı faktör analizleri birlikte ele alınmıştır. Ortaya çıkan sonuçlar, pratik sonuçları bakımından karşılaştırmalı olarak değerlendirilmiştir.

Anahtar Kelimeler

• Boş zaman motivasyonu
• Madde tepki kuramı
• Rasch modeli

References

1. Bond, T.G. ve Fox C.M. (2007). Applying the Rasch Model: Fundamental Measurement in the Human Sciences. Londra: Lawrence Erlbaum.
2. Brière, N.M., Vallerand, R.J., Blais, M.R. ve Pelletier, L.G. (1995). Développement et Validation d’une Mesure de Motivation Intrinsèque, Extrinsèque et d’Amotivation en Contexte Sportif: L’Échelle de Motivation dans les Sports (EMS), International Journal of Sport Psychology, 26, 465-489.
3. Christensen, K. B., Bjorner, J. B., Kreiner, S. ve Petersen, J. H. (2002). Testing Unidimensionality in Polytomous Rasch Models, Psychometrika, 67 (4), 563–574. https:// doi.org/10.1007/BF02295131.
4. Crocker, L. ve Algina, J. (1986). Introduction to Classical and Modern Test Theory. Orlando, FL: Holt, Rinehart ve Winston.
5. Ferrando, P. J. ve Lorenzo-Seva U. (2018). Assessing the Quality and Appropriateness of Factor Solutions and Factor Score Estimates in Exploratory Item Factor Analysis, Educational and Psychological Measurement, 78, 762- 780. doi:10.1177/0013164417719308.
6. Goldstein, H. ve Wood, R. (1989). Five Decades of Item Response Modelling, British Journal of Mathematical and Statistical Psychology, 42, 139–167.
7. Linacre, J.M. (2024). Reliability and Separation of Measures, https://www.winsteps.com/winman/reliability.htm, Erişim tarihi: 17.11.2024.
8. Lorenzo-Seva, U., ve Ferrando, P.J. (2023). A Simulation-based Scaled Test Statistic for Assessing Model-data fit in Least-squares Unrestricted Factor-analysis Solutions, Methodology, 19, 96-115. doi:10.5964/meth.9839.

9. Lorenzo-Seva, U. ve Ferrando, P.J. (2006). FACTOR: A Computer Program to fit the Exploratory Factor Analysis Model, Behavioral Research Methods, 38(1), 88-91. doi:10.3758/bf03192753.
10. Mardia, K. V. (1970). Measures of Multivariate Skewnees and Kurtosis with Applications, Biometrika, 57, 519-530. doi:10.2307/2334770.
11. Nielsen T. (2018). The Intrinsic and Extrinsic Motivation Subscales of the Motivated Strategies for Learning Questionnaire: A Rasch-based Construct Validity Study, Cogent Education, 5:1, 1504485.
12. Rasch, G. (1960). Probabilistic Models for Some Intelligence and Attainment Tests. Chicago: Chicago Üniversitesi Yayınları. R Core Team (2021). R: A Language and Environment for Statistical Computing. (Version 4.1) [Bilgisayar Yazılımı]. https://cran.r-project.org. (MRAN anlık görüntü- sünden alınan R paketleri 2022-01-01). Erişim tarihi: 17.11.2024.
13. Spearman, C. (1904). ‘General Intelligence,’ Objectively Determined and Measured, The American Journal of Psychology, 15 (2), 201–293. The Jamovi Project (2022). Jamovi. (Version 2.3) [Bilgisayar Yazılımı]. https://www.jamovi.org. Erişim tarihi: 17.11.2024.
14. Stemler, S.E. ve Naples, A. (2021). Rasch Measurement v. Item Response Theory: Knowing When to Cross the Line, Practical Assessment, Research and Evaluation, 26 (11):1-16.
15. Thurstone, L. L. (1947). The calibration of test items, American Psychologist, 2, 103-104. Tütüncü, Ö. (2024). Örneklemde Yanlılık: Katılımcılar Anketi Anlıyor Mu?, Anatolia: Turizm Araştırmaları Dergisi, 35 (1), 94-108. https://doi.org/10.17123/atad.1513213.
16. Timmerman, M. E. ve Lorenzo-Seva, U. (2011). Dimensionality Assessment of Ordered Polytomous Items with Parallel Analysis, Psychological Methods, 16 (2), 209–220. https://doi.org/10.1037/a0023353.
17. Wright, B. D., Linacre, J. M., Gustafson, J. E. ve Martin-Loff, P. (1994). Reasonable Mean-square fit Values, Rasch Measurement Transactions, 8 (3), 370. Wright, B. ve Stone, M. (1979). Best Test Design. Chicago, IL: MESA Yayınları.
18. Walker, E.R., Engelhard, G. ve Thompson, N.J. (2012). Using Rasch Measurement Theory to Assess Three Depression Scales among Adults with Epilepsy, Seizure, 21 (6), 437-443.
19. Yen, W. M. (1984). Effects of Local Item Dependence on the fit and Equating Performance of the Three-parameter Logistic Model, Applied Psychological Measurement, 8, 125-145.