BibTex RIS Cite

-

Year 2013, Volume: 9 Issue: 2, 378 - 398, 07.06.2013

Önder Sünbül Adnan Erkuş

Abstract

Examining item parameter invariance for several dimensionality types by using unidimensional item response theory. In this study, item parameter invariance in constructs which have characteristics of various dimensionality was examined within the framework of Unidimensional Item Response Theory (UIRT).For this purpose, two-dimensional data simulation was realized depending on compensatory MIRT model. For the simulation, the number of the items in the first dimension (24) and the mean of a parameters (1.00) were kept constant in all constructs. Manipulations were applied to the items in the second dimension and correlation between dimensions. The numbers of the items in the second dimension were set to 4, 8, 12, 16, 20, 24; mean aparameters were set to 0.25, 0.50, 0.75,1.00, and correlations between dimensions were set to 0.00, 0.30, 0.60, 0.80. Simulation criteria were fully crossed and 96 experimental cells were obtained. Dichotomous responses of 90 000 subjects were simulated for each cell. By this way, 96 populations were established. In order to determine how parameter invariance is affected by sample size, 100 samples for 500 sample size, 100 samples for 1000 sample size and 100 samples for 3000 sample size were drawn from populations by using simple random sampling. Thus, 28800 samples were revealed. These samples were analyzed by using UIRT. In order to analyze the analysis results, average standard errors were used as the indicator of parameter invariance. Despite the fact that all datasets are treated as unidimensional for IRT analysis, avarage standard errors were computed separately for each dimension and how both dimensions have been affected by parameter invariance was determined in this manner.When the results for IRT were examined, parameter invariance were provided to a great extent for both a and b parameters but it cannot be provided for some constructs. Those constructs are empirical cells in which the first dimension is equivalent in terms of strength to the second dimension and in which the dimensions are orthogonal. Average standard errors which were computed for the particular empirical cells seem bigger than the acceptable level for especially b parameter. Empirical cells can produce invariance item parameters in spite of the violation of IRT’s unidimensionality assumption. As shown in literature, UIRT is quite robust against multidimensionality.

Keywords

Item Response Theory item parameter invariance dimensionality

References

  • Ackerman, T. A. (1989). Unidimensional IRT calibration of compensatory and noncompensatory multidimensional items. Applied Psychological Measurement, 13,113-127.
  • Ansley, T. N. ve Forsyth R. A. (1985). An examination of the characteristics of unidimensional IRT parameter estimates derived from two dimensional data. Applied Psychological Measurement, 9 (1), 37-48.
  • Bartholomew, D. J. (2007). Three faces of factors analysis. R. Cudeck, R. C. MacCallum, (Ed), Factor analysis at 100:historical developments and future directions içinde (9-23). Mahwah, New Jersey: Lawrence Erlbaum Associates.
  • Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara: ÖSYM Yayınları.
  • Crocker, L. ve Algina, J. (1986). Introduction to classical and modern test theory. USA: Rinehart and Winston Inc.
  • Doğan, N. (2002). Klasik test kuramı ve örtük özellikler kuramının örneklemler bağlamında karşılaştırılması, Yayınlanmamış doktora tezi, Hacettepe Üniversitesi, Ankara.
  • Drasgow, F. ve Parsons, C. K. (1983). Application of unidimensional item response theory models to multidimensional data. Applied Psychological Meaurement, 7, 189-199.
  • Embretson, S. E. ve Reise, S. (2000). Item response theory for psychologists. New Jersey: Lawrence Erlbaum Associates. Ferrando, P. J. (2009). Difficulty, discrimination and information indices in the linear factor analysis model for continuous item responses. Applied Psychological Measurement, 33, 9-24.
  • Gelbal, S. (1994). p madde güçlük indeksi ile rasch modelinin b parametresi ve bunlara dayalı yetenek ölçüleri üzerine bir karşılaştırma. Yayınlanmamış doktora tezi, Hacettepe Üniversitesi, Ankara.
  • Gulliksen, H. (1950). Theory of mental tests. New York: Wiley.
  • Hambleton, R. K. ve Swaminathan, H. (1985). Item response theory: principles and applications. Boston: Academic Puslishers Group.
  • Harrison, D. A. (2009). Robustness of IRT parameter estimation to violations of the unidimensionality assumption. Journal of Educational Statistics, 11(2), 91-115.
  • Hattie, J. (1985). Methodology review: assessing unidimensionality of tests and items. Applied Psychological Measurement, 9(2), 139-164.
  • Jacoby, W. G. (1991). Data theory and dimensional analysis. London: Sage Publications.
  • Kan, A. (2004). Farklı yetenek ve örneklem gruplarından kestirilen madde parametrelerinin karşılaştırılması. Yayınlanmamış doktora tezi, Hacettepe Üniversitesi, Ankara.
  • Kan, A. (2006). Klasik test teorisine ve örtük özellikler teorisine göre kestirilen madde parametrelerinin karşılaştırılması üzerine ampirik bir çalışma. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 2(2), 227-235.
  • Karakaş, S. (1997). Bilimsel psikoloji: temel ilkeler. Ankara: Türk Psikologlar Derneği Yayınları.
  • Kelecioğlu, H. (2001). Örtük özellikler teorisindeki b ve a parametreleri ile klasik test teorisindeki p ve r parametreleri arasındaki ilişki. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20, 104-110.
  • Krisci, L., Hsu, T. ve Yu, L. (2001). Robustness of item parameter estimation programs to assumptions of unidimensionality and normality. Applied Psychological Measurement, 25, 146-162.
  • Levy, R. (2006). Posterior predictive model checking for multidimensionality in item response theory and bayesian network. Yayınlanmamış doktora tezi, Maryland Üniversitesi, Maryland.
  • Lord, F. M. ve Novick M. R. (1968). Statistical theories of mental test scores. New York: Addison- Wesley Publishing Company.
  • Lord, F. M. (1980). Aplications of item response theory to practical testing problems. Hillsdale, New Jersey: Lawrence Erlbaum Associates.
  • Luecht, R. M. ve Miller, T. R. (1992). Unidimensional calibrations and interpretations of composite traits for multidimensional tests. Applied Psychogical Measurement, 16, 279-292.
  • Luecht, R. (2004) MIRTGEN 2.0 [Bilgisayar Yazılımı]. Yazar.
  • Magnusson, D. (1968). Test theory. Massachusetts. Addison-Wesley.
  • McDonald, R. P. (1999). Test theory: a unified treatment. Mahwah, New Yersey: Lawrence Erlbaum Associates.
  • Reckase, M. D. Ackerman, T. A. ve Carlson, J. E. (1988). Building a unidimensional test using multidimensional items. Journal of Educational Measurement, 25, 193-203.
  • Reckase, M. D. (2009). Multidimensional item response theory. New York: Springer Dordrecht Heidelberg.
  • Rupp, A. A. ve Zumbo, B. D. (2006). Understanding parameter invariance in unidimensional IRT models. Educational and Psychological Measurement, 66, 63-84.
  • Steinberg, L., Thissen, D. ve Wainer, H. (2000). Validity . H. Wainer. (Ed), Computerized adaptive testing: a primer içinde (185-230). Mahwah, New Jersey: Lawrence Erlbaum Associates.
  • Tatlıdil, H. (1992). Uygulamalı çok değişkenli istatistiksel analiz. Ankara: Akademi Matbaası.
  • Walker, C. M., Azen, R. ve Schmitt, T. (2006). Statistical versus substantive dimensionality: the effect of distributional differences on dimensionality assesment using DIMTEST. Educational and Psychological Measurement, 66, 7217
  • Way, W. D., Ansley., T. N. ve Forsyth, R. A. (1988). The comparative effects of compensatory and noncompensatory twodimensional data on unidimensional IRT estimates. Applied Psychological Measurement, 12, 239-252.
  • Zeng, L. (1989). Robustness of unidimensional latent trait models when applied to multidimensional data. Yayınlanmamış doktora tezi, Georgia Üniversitesi, Athens.
  • Zhang, B. (2008). Application of unidimensional item response models to tests with items sensitive to secondary dimensions. The Journal of Experimental Education, 77 (2),147-166.
  • Zhang, J. ve Stout, W. F. (1996a). Conditional covariance structure of generalized compensatory multidimensional items. Psychometrica, 64, 129-15.

Madde Parametrelerininin Değişmezliğinin Çeşitli Boyutluluk Özelliği Gösteren Yapılarda Madde Tepki Kuramınana Göre İncelenmesi

Year 2013, Volume: 9 Issue: 2, 378 - 398, 07.06.2013

Önder Sünbül Adnan Erkuş

Abstract

Bu çalışmada, çeşitli boyutluluk özelliklerine sahip yapılardaki madde parametrelerinin değişmezliği
MTK çerçevesinde incelenmiştir. Bu amaç doğrultusunda, tamamlayıcı çok boyutlu madde tepki kuramı
modeline dayalı iki boyutlu veri üretimi yapılmıştır. Veri üretiminde, birinci boyut maddelerinin sayısı (24)
ve a1
parametre ortalaması (1.00), bütün yapılarda aynı olacak şekilde korunmuştur. Değişimlemeler, ikinci
boyutta yer alan maddeler üzerinde ve boyutlar arası korelasyonlarda yapılmıştır. İkinci boyut maddelerinin
sayısı 4, 8, 12, 16, 20, 24; a2
parametre ortalaması 0.25, 0.50, 0.75,1.00 ve boyutlar arası korelasyon 0.00,
0.30, 0.60, 0.80 olacak şekilde değişimlenmiştir. Değişimleme ölçütlerinin tamamının çaprazlanması sonucu,
96 deneysel hücre elde edilmiştir ve herbir hücre için 90.000 bireyin madde tepkisini kapsayan veri üretimi
yapılmıştır. Böylelikle 96 adet evren elde edilmiştir. Parametre değişmezliğinin örneklem büyüklüğünden
nasıl etkilendiğini belirlemek amacıyla, her evrenden 500’lük 100 adet, 1000’lik 100 adet ve 3000’lik 100
adet örneklem, basit seçkisiz örnekleme yöntemine dayalı olarak çekilmiştir. Böylelikle 28 800(96 x 3 x 100)
örneklem elde edilmiştir. Elde edilen örneklemler MTK çerçevesinde analiz edilmiştir. Elde edilen analiz
sonuçlarının değerlendirilmesinde, parametre değişmezliğinin göstergesi olarak standart hata
ortalamalarından yararlanılmıştır. Veriler boyutlara göre gruplanmadan analiz edilse de, standart hata
ortalamaları her boyut için ayrı ayrı hesaplanarak, her iki boyutun parametre değişmezliğinden nasıl
etkilendiği belirlenmiştir. MTK için elde edilen sonuçlar incelendiğinde, hem a hem de b parametresi için
parametre değişmezliğinin büyük oranda sağlandığı görülmekle beraber bazı yapılarda parametre
değişmezliğinin sağlanamadığı görülmüştür. Bu yapılar; ikinci boyutun birinci boyuta kuvvetçe eşdeğer
(madde sayısı ve a parametre ortalaması) ve boyutların birbirine dik konumlandığı deneysel hücrelerdir.
Belirtilen deneysel hücreler için hesaplanan standart hata ortalamalarının, özellikle b parametresi için, kabul
edilemeyecek kadar büyük olduğu görülmüştür. Belirtilen özel durumlar haricindeki deneysel hücrelerde;
MTK tekboyutluluk sayıltısının ihlal edilmesine rağmen, değişmez madde parametreleri üretebilmiştir.
Literatürde de belirtildiği üzere, MTK’nin çokboyutluluğa karşı oldukça dayanıklı olduğu görülmüştür.

Keywords

Madde Tepki Kuramı madde parametrelerinin değişmezliği boyutluluk

References

  • Ackerman, T. A. (1989). Unidimensional IRT calibration of compensatory and noncompensatory multidimensional items. Applied Psychological Measurement, 13,113-127.
  • Ansley, T. N. ve Forsyth R. A. (1985). An examination of the characteristics of unidimensional IRT parameter estimates derived from two dimensional data. Applied Psychological Measurement, 9 (1), 37-48.
  • Bartholomew, D. J. (2007). Three faces of factors analysis. R. Cudeck, R. C. MacCallum, (Ed), Factor analysis at 100:historical developments and future directions içinde (9-23). Mahwah, New Jersey: Lawrence Erlbaum Associates.
  • Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara: ÖSYM Yayınları.
  • Crocker, L. ve Algina, J. (1986). Introduction to classical and modern test theory. USA: Rinehart and Winston Inc.
  • Doğan, N. (2002). Klasik test kuramı ve örtük özellikler kuramının örneklemler bağlamında karşılaştırılması, Yayınlanmamış doktora tezi, Hacettepe Üniversitesi, Ankara.
  • Drasgow, F. ve Parsons, C. K. (1983). Application of unidimensional item response theory models to multidimensional data. Applied Psychological Meaurement, 7, 189-199.
  • Embretson, S. E. ve Reise, S. (2000). Item response theory for psychologists. New Jersey: Lawrence Erlbaum Associates. Ferrando, P. J. (2009). Difficulty, discrimination and information indices in the linear factor analysis model for continuous item responses. Applied Psychological Measurement, 33, 9-24.
  • Gelbal, S. (1994). p madde güçlük indeksi ile rasch modelinin b parametresi ve bunlara dayalı yetenek ölçüleri üzerine bir karşılaştırma. Yayınlanmamış doktora tezi, Hacettepe Üniversitesi, Ankara.
  • Gulliksen, H. (1950). Theory of mental tests. New York: Wiley.
  • Hambleton, R. K. ve Swaminathan, H. (1985). Item response theory: principles and applications. Boston: Academic Puslishers Group.
  • Harrison, D. A. (2009). Robustness of IRT parameter estimation to violations of the unidimensionality assumption. Journal of Educational Statistics, 11(2), 91-115.
  • Hattie, J. (1985). Methodology review: assessing unidimensionality of tests and items. Applied Psychological Measurement, 9(2), 139-164.
  • Jacoby, W. G. (1991). Data theory and dimensional analysis. London: Sage Publications.
  • Kan, A. (2004). Farklı yetenek ve örneklem gruplarından kestirilen madde parametrelerinin karşılaştırılması. Yayınlanmamış doktora tezi, Hacettepe Üniversitesi, Ankara.
  • Kan, A. (2006). Klasik test teorisine ve örtük özellikler teorisine göre kestirilen madde parametrelerinin karşılaştırılması üzerine ampirik bir çalışma. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 2(2), 227-235.
  • Karakaş, S. (1997). Bilimsel psikoloji: temel ilkeler. Ankara: Türk Psikologlar Derneği Yayınları.
  • Kelecioğlu, H. (2001). Örtük özellikler teorisindeki b ve a parametreleri ile klasik test teorisindeki p ve r parametreleri arasındaki ilişki. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20, 104-110.
  • Krisci, L., Hsu, T. ve Yu, L. (2001). Robustness of item parameter estimation programs to assumptions of unidimensionality and normality. Applied Psychological Measurement, 25, 146-162.
  • Levy, R. (2006). Posterior predictive model checking for multidimensionality in item response theory and bayesian network. Yayınlanmamış doktora tezi, Maryland Üniversitesi, Maryland.
  • Lord, F. M. ve Novick M. R. (1968). Statistical theories of mental test scores. New York: Addison- Wesley Publishing Company.
  • Lord, F. M. (1980). Aplications of item response theory to practical testing problems. Hillsdale, New Jersey: Lawrence Erlbaum Associates.
  • Luecht, R. M. ve Miller, T. R. (1992). Unidimensional calibrations and interpretations of composite traits for multidimensional tests. Applied Psychogical Measurement, 16, 279-292.
  • Luecht, R. (2004) MIRTGEN 2.0 [Bilgisayar Yazılımı]. Yazar.
  • Magnusson, D. (1968). Test theory. Massachusetts. Addison-Wesley.
  • McDonald, R. P. (1999). Test theory: a unified treatment. Mahwah, New Yersey: Lawrence Erlbaum Associates.
  • Reckase, M. D. Ackerman, T. A. ve Carlson, J. E. (1988). Building a unidimensional test using multidimensional items. Journal of Educational Measurement, 25, 193-203.
  • Reckase, M. D. (2009). Multidimensional item response theory. New York: Springer Dordrecht Heidelberg.
  • Rupp, A. A. ve Zumbo, B. D. (2006). Understanding parameter invariance in unidimensional IRT models. Educational and Psychological Measurement, 66, 63-84.
  • Steinberg, L., Thissen, D. ve Wainer, H. (2000). Validity . H. Wainer. (Ed), Computerized adaptive testing: a primer içinde (185-230). Mahwah, New Jersey: Lawrence Erlbaum Associates.
  • Tatlıdil, H. (1992). Uygulamalı çok değişkenli istatistiksel analiz. Ankara: Akademi Matbaası.
  • Walker, C. M., Azen, R. ve Schmitt, T. (2006). Statistical versus substantive dimensionality: the effect of distributional differences on dimensionality assesment using DIMTEST. Educational and Psychological Measurement, 66, 7217
  • Way, W. D., Ansley., T. N. ve Forsyth, R. A. (1988). The comparative effects of compensatory and noncompensatory twodimensional data on unidimensional IRT estimates. Applied Psychological Measurement, 12, 239-252.
  • Zeng, L. (1989). Robustness of unidimensional latent trait models when applied to multidimensional data. Yayınlanmamış doktora tezi, Georgia Üniversitesi, Athens.
  • Zhang, B. (2008). Application of unidimensional item response models to tests with items sensitive to secondary dimensions. The Journal of Experimental Education, 77 (2),147-166.
  • Zhang, J. ve Stout, W. F. (1996a). Conditional covariance structure of generalized compensatory multidimensional items. Psychometrica, 64, 129-15.
There are 36 citations in total.

Details

Primary Language Turkish
Journal Section Makaleler
Authors

Önder Sünbül

Adnan Erkuş

Publication Date June 7, 2013
Published in Issue Year 2013 Volume: 9 Issue: 2

Cite

APA Sünbül, Ö., & Erkuş, A. (2013). Madde Parametrelerininin Değişmezliğinin Çeşitli Boyutluluk Özelliği Gösteren Yapılarda Madde Tepki Kuramınana Göre İncelenmesi. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 9(2), 378-398. https://doi.org/10.17860/efd.90450

The content of the Mersin University Journal of the Faculty of Education is licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.