Investigation of Unidimensionality Examination Methods in Terms of Various Variables within the Framework of the CTT

Year 2024, Volume: 24 Issue: 4, 2512 - 2527, 15.12.2024

Safiye Şeyda Kuyumcu , Önder Sünbül

https://doi.org/10.17240/aibuefd.2024..-1425348

Abstract

The study aims to examine the concept of unidimensionality, which is an important concept in measurement science, and to examine and evaluate the KR-20, Omega and Eigenvalue Ratio indices used in unidimensionality studies within the framework of CTT. For this purpose, data was generated according to various factors (sample size, number of items, interdimensional correlation and factor loading average). Data generation and analysis was carried out using the version of R Program 4.2.3. The produced data were examined according to the average indexes of KR-20, Omega and Eigenvalue Ratio, and the ratios of the results obtained were tabulated and visualized with multifaceted graphing. Analysis and graphing processes were carried out through the program written by the researcher. According to different conversion criteria, the average values of KR-20, Omega and Eigenvalue Ratio coefficients were calculated and compared. The average values of KR 20, one of the reliability-based methods for unidimensionality analysis, and Omega indexes, one of the factor analysis-based methods, were very close to each other in all changes. The average value of the Eigenvalue Ratio was most affected by the various conditions. When it is desired to obtain more sensitive results under changing conditions for unidimensionality, it may be recommended to use the Eigenvalue Ratio index, which is an index based on principal components.

Keywords

Dimensionality, Unidimensionality, Psychological Structures, Measurement

Tekboyutluluk İnceleme Yöntemlerinin KTK Çerçevesinde Çeşitli Değişkenler Açısından İncelenmesi

Abstract

Bu çalışmanın amacı ölçme biliminde önemli bir kavram olan tekboyutluluk kavramının incelenmesi ve KTK çerçevesinde tekboyutluluk incelemelerinde kullanılan KR-20, Omega ve Özdeğer Oranı indekslerinin incelenmesi ve değerlendirilmesidir. Bu amaç doğrultusunda çeşitli faktörlere (örneklem büyüklüğü, madde sayısı, boyutlar arası korelasyon ve faktör yük ortalaması) göre veri üretimi yapılmıştır. Veri üretimi ve analizi R Programı 4.2.3. versiyonu kullanılarak gerçekleştirilmiştir. Üretilmiş veriler üzerinde KR-20, Omega ve Özdeğer Oranı ortalama indekslerine göre inceleme yapılmış ve elde edilen sonuçlara ilişkin oranlar tablolaştırılıp, çok yüzeyli grafikleme ile görselleştirilmiştir. Analiz ve grafikleme işlemleri araştırmacı tarafından yazılmış olan program aracılığıyla gerçekleştirilmiştir. Farklı değişimleme ölçütlerine göre KR-20, Omega ve Özdeğer Oranı katsayılarının ortalama değerleri hesaplanıp karşılaştırma yapılmıştır. Tekboyutluluk incelemesi için güvenirliğe dayalı yöntemlerden olan KR-20 ve faktör analizine dayalı yöntemlerden biri olan Omega indekslerinin ortalama değerleri tüm değişimlemelerde birbirlerine çok yakın değerler almışlardır. Değişimlenen koşullardan en çok Özdeğer Oranı ortalama değeri etkilenmiştir. Tekboyutluluk için değişen koşullarda daha hassas sonuçlar elde edilmek istenildiğinde temel bileşenlere dayalı bir indeks olan Özdeğer Oranı indeksi kullanılması önerilebilir.

Keywords

Boyutluluk, Tekboyutluluk, Psikolojik Yapılar, Ölçme

References

• Aktürk, Z. & Acemoğlu, H. (2012). Tıbbi araştırmalarda güvenirlik ve geçerlik. Dicle Tıp Dergisi, 39 (2), 316- 319.
• Akyıldız, M., & Şahin, M. D. (2017). Açıköğretimde kullanılan sınavlardan klasik test kuramına ve madde tepki kuramına göre elde edilen yetenek ölçülerinin karşılaştırılması. Açıköğretim Uygulamaları ve Araştırmaları Dergisi, 3(4), 141-159.
• Baykul, Y & Turgut, F. (1982) Ölçekleme teknikleri. ÖSYM Yayıncılık.
• Baykul, Y. (2010). Eğitimde ve psikolojide ölçme klasik test teorisi ve uygulaması. ÖSYM Yayıncılık.
• Büyüköztürk, Ş., Çokluk, Ö. & Şekercioğlu, G. (2010). Sosyal bilimler için çok değişkenli istatistik SPSS ve LISREL uygulamaları. PegemA. Yayıncılık.
• Byrne, B. M. (2010). Structual equation modeling with AMOS: basic concepts, applications, and programming. (Second Edition). Taylor and Francis Group, LLC.
• Chadha, N. K. (2009). Applied psychometry. India: SAGE Publications.
• Chalmers, R. P. (2012). mirt: A Multidimensional Item Response Theory Package fort he R Environment. Journal of Statistical Software, 48(6), 1-29. doi: 10.18637/jss.v048.i06
• Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. Rinehart and Winston Inc.
• Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297- 334.
• Çelik, D. (2000) Okullarda ölçme değerlendirme nasıl olmalı? Milli Eğitim Basımevi.
• Çokluk, Ö., Kayri, M. & Koçak, D. (2016). Faktör sayısının belirlenmesinde MAP testi, paralel analiz, K1 ve yamaç birikinti grafiği yöntemlerinin karşılaştırılması. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 13(1), 330-359.
• Davidshofer, K. R., & Murphy, C. O. (2005). Psychological testing: principles and applications. Pearson Prentice Hall.
• Demir, E. K. (2019). Tek boyutlu ve çok boyutlu aşamalı tepki modeline göre çok boyutlu yapıların incelenmesi [Yayımlanmamış doktora tezi]. Hacettepe Üniversitesi.
• Fidell, S. L. & Tabachnick, B.G. (2020). Çok değişkenli istatistiklerin kullanımı. Nobel Yayıncılık.
• Green, S. B., Lissitz, R. W., & Mulaik, S. A. (1977). Limitations of coefficient alpha as an index of test unidimensionality. Educational and Psychological Measurement, 37(4), 827-838.
• Guttman, L. (1944). A basis for scaling qualitative data. American Sociological Review, 80, 139-150.
• Gül, E. & Koç, N. (2017). Tek boyutlu ve çok boyutlu madde tepki kuramına göre çok boyutlu yapıların incelenmesi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 32(2), 312-326. doi: 10.16986/ HUJE.20160119932
• Güler, G. (2017). Testlerin boyutluluğunun belirlenmesinde kullanılan yöntemlerde 1. tip hata ve güç oranlarının karşılaştırılması. [Yayımlanmamış doktora tezi]. Ankara Üniversitesi.
• Güler, N., Kaya Uyanık, G. & Taşdelen Teker, G. (2012). Genellenebilirlik kuramı. PegemA Yayıncılık.
• Hattie, J. (1985). Methodology review: assessing unidimensionality of tests and ıtems. Applied Psychological Measurement, 9(2), 139-164.
• Ho, R. (2014). Handbook of univariate and multivariate data analysis and interpretation with SPSS. CRC press.
• Lord, F. M. (1980). Applications of item response theory to practical testing problems. Erlbaum Associates.
• Lumsden, J. (1957). A factorial approach to unidimensionality, Australian Journal of Psychology, 9, 105-111.
• Ocak, G. & Karakuş G. (2015). Developing an attitude scale for discussion ability of pre-service teachers. Journal of Theoretical Educational Science, 8(1), 50-69.
• Özer Özkan, Y. (2014). Öğrenci başarılarının belirlenmesi sınavından klasik test kuramı, tek ve çok boyutlu madde tepki kuramı modelleri ile kestirilen başarı puanlarının karşılaştırılması. International Journal of Human Sciences, 11(1), 20-44.
• Özgüven, İ. (2007). Psikolojik testler. Nobel Yayıncılık.
• R Core Team (2023). _R: A Language and Environment for Statistical Computing_. R Foundation for Statistical Computing, Vienna, Austria. <https://www.R-project.org/>.
• Revelle, W. (2023). psych: Procedures for Psychological, Psychometric, and Personality Research_. Northwestern University, Evanston, Illinois. R package version 2.3.3.
• Robitzsch, A. (2024). sirt: Supplementary Item Response Theory Models. R package version 4. 1-15.
• Stout, W.F. & Zhang, J. (1999). Conditional covariance structure of generalized compensatory multidimensional items. Psychometrica, 64, 129-152.
• Sünbül, Ö. (2011). Çeşitli boyutluluk özelliklerine sahip yapılarda, madde parametrelerinin değişmezliğinin klasik test teorisi, tek boyutlu madde tepki kuramı ve çok boyutlu madde tepki kuramı çerçevesinde incelenmesi. [Yayımlanmamış doktora tezi]. Mersin Üniversitesi.
• Tate, R. (2003). A compasion of selected empirical methods for Assessing he structure of responses to test items. Applied Psychological Measurement, 27, 159-203.
• Terman, Lewis. M. (1916) The measurement of ıntelligence. Erişim adresi: The Project Gutenberg eBook of The Measurement of Intelligence, by Lewis M. Terman.
• Thorndike, R. M. & Thorndike- Christ, T. (2010). Measurement and evaluation in psychology and education (8th ed.) Pearson Educatıon: Inc. (Çev. Editörü: Mustafa Otrar, (2017), Nobel Yayıncılık.)
• Türker, E. (2016). Klasik test kuramına ve faktör analitik yaklaşıma göre elde edilen farklı güvenirlik katsayılarının karşılaştırılması. [Yayımlanmamış yüksek lisans tezi]. Mersin Üniversitesi.
• Venables, W.N. ve Ripley B.D. (2002) Modern Applied Statistics with S. Fourth Edition. Springer, New York. ISBN 0387-95457-0.
• Yörükoğlu, A. (1986). Çocuk ve ruh sağlığı, (10. Baskı). Türkiye İş Bankası Kültür Yayıncılık.