Boyutlar Arası Korelasyon ile Madde Ayırt Ediciliği Arasındaki Etkileşimin Parametre Kestirimi Üzerine Etkisi

Abstract

Alan yazında karışık yapılı çok boyutlu testlerin tek boyutlu olarak kestirilmesi ile ilgili bazı çalışmalar bulunmaktadır. Bu çalışmalarda boyutlar arası korelasyon arttıkça ayırt edicilik indeksine ait hataların da arttığı belirtilmiştir. Bu çalışmada çok boyutlu yapıların tek boyutlu olarak kestirildiği durumda maddelerin x ekseniyle arasındaki açı ile boyutlar arası korelasyonun etkileşiminin madde ve birey parametrelerinin kestirimi üzerine etkisi araştırılmıştır. Çalışmada SAS\IML aracılığıyla üretilen iki boyutlu 2PLM telafisel modeldeki veri setleri kullanılmıştır. Araştırmada a parametrelerinin x ekseniyle yaptığı açılar sırasıyla 0.15^o; 0.30^o; 0.45^o; 0.60^o ve 0.75^o olacak şekilde değişimlenmiştir. Boyutlar arası korelasyonlar da maddelerin açıları ile aynı olacak şekilde 0.15; 0.30; 0.45; 0.60 ve 0.75 alınmıştır. Yetenek dağılımları ise standart normal, sağa ve sola çarpık dağılım şeklinde belirlenmiştir. Böylece, 5 farklı madde açısı * 5 farklı boyutlar arası korelasyon *3 farklı yetenek dağılımı olmak üzere 75 (5x5x3) koşullu bir araştırma deseni tasarlanmıştır. Veri setlerinde madde sayısı 25 ve birey sayısı 2000 olarak sabit tutulmuştur. Ele alınan her bir koşula ilişkin 100 tekrar yapılmıştır. Elde edilen her bir veri seti tek boyutlu olarak kestirilmiştir. Parametrelerin kestirilmesinde BILOG programından yararlanılmıştır. Sonuçların değerlendirilmesinde RMSE istatistiği kullanılmıştır. Genel olarak özellikle ayırt edicilik indeksi için elde edilen sonuçların çok boyutlu verilerin tek boyutlu olarak kestirildiği çalışmalarla ilgili alan yazından farklı bir örüntü sergilediği söylenebilir.

 

Keywords

• Çok boyutlu veri,tek boyutlu kestirim,korelasyon,ayırt edicilik indeksi

The Interaction Effect of the Correlation between Dimensions and Item Discrimination on Parameter Estimation

Abstract

There are some studies in the literature that have considered the impact of modeling multidimensional mixed structured tests as unidimensional. These studies have demonstrated that the error associated with the discrimination parameters increases as the correlation between dimensions increases. In this study, the interaction between items’ angles on coordinate system and the correlations between dimensions was investigated when estimating multidimensional tests as unidimensional. Data were simulated based on two dimensional, and two-parameter compensatory MIRT model. Angles of items were determined as 0.15^o; 0.30^o; 0.45^o; 0.60^o and 0.75^orespectively. The correlations between ability parameters were set to 0.15, 0.30, 0.45, 0.60 and 0.75 respectively, which are same with the angles of discrimination parameters. The ability distributions were generated from standard normal, positively and negatively skewed distributions.  A total of 75 (5 x 5 x 3) conditions were studied: five different conditions for the correlation between dimensions; five different angles of items and three different ability distributions. For all conditions, the number of items was fixed at 25 and the sample size was fixed at n = 2,000. Item and ability parameter estimation were conducted using BILOG. For each condition, 100 replications were performed. The RMSE statistic was used to evaluate parameter estimation errors, when multidimensional response data were scaled using a unidimensional IRT model. Based on the findings, it can be concluded that the pattern of RMSE values especially for discrimination parameters are different from the existing studies in the literature in which multidimensional tests were estimated as unidimensional.  

Keywords

• Multidimensional data,unidimensional estimation,correlation,discriminaton index

References

1. Ansley, T. N., & Forsyth, R. A. (1985). An examination of the characteristics of unidimensional IRT parameter estimates derived from two-dimensional data. Applied Psychological Measurement, 9(1), 37-48.
2. Ackerman, T.A. (1989). Unidimensional IRT calibration of compensatory and noncompensatory multidimensional items. Applied Psychological Measurement, 13(2), 113-27.
3. Ackerman, T.A., Gierl, M.J., & Walker, C.M. (2003). Using multidimensional item response theory to evaluate educational and psychological tests. Educational Measurement: Issues and Practice: MIRT Instructional Module.
4. Bulut, O. (2013). Between-person and within-person subscore reliability: Comparison of unidimensional and multidimensional IRT models (Doctoral Dissertation). Available from ProQuest Dissertations and Theses database (No. 3589000).
5. Doody, E. N. (1985, April). Examining the effects of multidimensional data on ability and item parameter estimation using the three-parameter logistic model. Paper presented at the annual meeting of the American Educational Research Association, Chicago.
6. Drasgow, F., & Parsons, C. K. (1983). Application of unidimensional item response theory models to multidimensional data. Applied Psychological Measurement, 7, 189-199.
7. Gocer Sahin (2015). Yarı karışık yapılı çok boyutlu yapıların tek boyutlu olarak ele alınması durumunda kestirilen parametrelerin incelenmesi (Doctoral Dissertation). Available from YOK Dissertations and Theses database (No. 454926).
8. Gocer Sahin S., Walker, C. M., & Gelbal, S. (2015). The Impact of Model Misspecification with Multidimensional Test Data (pp.133-44). In van der Ark, L. A., Bolt, D. M., Chow, S. M., Douglas, J. A., and Wang, W. C. (Eds.), Quantitative Psychology Research: The 79th Annual Meeting of the Psychometric Society, New York, NY: Springer.

9. Harrison, D. A. (1986). Robustness of IRT parameter estimation to violations of the unidimensionality assumption. Journal of Educational Statistics, 11(2), 91-115.
10. Kahraman, N. (2013) Unidimensional interpretations for multidimensional test items. Journal of Educational Measurement, 50(2), 227-246.
11. Kirisci, L., Hsu, T., & Yu, L. (2001). Robustness of item parameter estimation programs to assumptions of unidimensionality and normality. Applied Psychological Measurement, 25(2), 146-162.
12. Leucht, R. M & Miller, T. R. (1992). Unidimensional calibrations and interpretations of composite traits for multidimensional tests. Applied Psychological Measurement, 16, 279-293.
13. Reckase, M. D. (2009). Multidimensional item response theory (statistics for social and behavioral sciences). New York: Springer.
14. Reckase, M.D., Ackerman, T.A., & Carlson, J.E. (1988). Building a unidimensional test using multidimensional items. Journal of Educational Measurement, 25, 193-203.
15. Reckase, M.D., & McKinley, R. L. (1991). The discriminating power of items that measure more than one dimension. Applied Psychological Measurement, 15(4), 361-373.
16. Sheng Y. & Wikle C. K. (2007). Comparing multidimensional and unidimensional item response theory models. Educational and Psychological Measurement, 68(3), 413-430.
17. Zhang, J. (2005). Estimating multidimensional item response models with mixed structure (ETS Research Report 05-04). Princeton, NJ: Educational Testing Service.
18. Zhang, B. (2008). Application of unidimensional item response models to tests with items sensitive to secondary dimension. The Journal of Experimental Education, 77(2), 147-166.
19. Zhang, J. (2012). Calibration of response data using MIRT models with simple and mixed structures. Applied Psychological Measurement, 36(5), 375-398.