Analyzing the Dimensionality of Academic Motivation Scale Based on the Item Response Theory Models

Year 2020, Volume: 20 Issue: 86, 157 - 174, 31.03.2020

Seval Kula Kartal Omer Kutlu

Abstract

Purpose: This study aims to investigate the dimensionality of the Academic Motivation Scale items by depending on the graded response model, the generalized graded unfolding model, the bifactor model and the DIMTEST.

Research Methods: The Academic Motivation Scale was implemented on 1858 students who were studying at Ankara University. The fit of models was examined based on the general, person and item level model data fit statistics that were produced by the models.

Findings: It was found out that the bifactor model provided the most consistent results with the theoretical foundation underlying the items. The findings revealed that the generalized graded unfolding model and the bifactor model enabled better results than the graded response model concerning to the general model data fit. About item fit statistics, the models that provided the best fit were the bifactor model, the generalized graded unfolding model and the graded response model, respectively. The index values obtained based on the bifactor model also brought out the existence of a strong general dimension on which the scale items could be ordered. The results of DIMTEST analysis also supported that the scale items are multidimensional.

Implications for Research and Practice: Researchers are recommended to estimate item parameters both on the general dimension and subscales of the Academic Motivation Scale by utilizing the bifactor model to obtain more reliable and valid item parameter estimations. In future studies, researchers can compare the models about dimensionality and monotonicity assumptions based on scales developed to measure different affective traits

Keywords

multidimensional item response theory, bifactor model

Akademik Güdülenme Ölçeği’nin Boyutluluk Açısından Madde Tepki Kuramı Modellerine Dayalı Olarak İncelenmesi

Abstract

Problem Durumu: Eğitimde ve psikolojide kullanılan en temel matematiksel modeller bazı varsayımlara dayalı olarak geliştirilmiştir. Bu varsayımlarından biri ölçme araçlarından elde edilen madde yanıt matrisinin boyutluluğuna ilişkindir. Farklı modellerle ve test koşullarıyla boyutluluğun incelendiği yöntemler sonuçların doğruluğu üzerinde belirleyici olmaktadır. Ölçme modelleri örtük özelliğin doğasına uygun olmadığında, ölçme aracının boyutluluğuna ilişkin çelişkili çıkarımlar yapılmaktadır. Boyutluluğu açısından çelişkili bulguların elde edildiği ölçme araçlarından biri bu araştırmanın odak noktası olan Akademik Güdülenme Ölçeği (AGÖ)’dir.
Modellerin dayandığı varsayımlar boyutluluk yöntemleriyle elde edilen bulguları etkileyebildiğinden, boyutluluğuna ilişkin doğru bulgulara ulaşılması için Akademik Güdülenme Ölçeği maddelerine verilen yanıtları en iyi betimleyen ölçme modelinin belirlenmesi ve boyutluluğun bu modelle incelenmesi gerekmektedir. İlgili çalışmalar, monoton olmayan madde tepki kuramı modelinin duyuşsal özelliklerin doğasına daha uygun bir ölçme modeli olduğunu ortaya koymuştur. Ayrıca, monotonluk varsayımının boyutluluğa ilişkin bulguları etkileyerek ölçme araçlarının faktör yapılarına ilişkin hatalı çıkarımlara neden olduğu bulunmuştur. Bu nedenle, monoton olmayan madde tepki kuramı modeline uyduğu düşünülen bir veride çok boyutluluğun varlığına ilişkin kanıtlar elde edildiğinde, verinin monotonluk varsayımı açısından monoton ve monoton olmayan modellerin model veri uyumlarının karşılaştırılması yoluyla incelenmesi gerekmektedir. Ancak, alanyazında güdülenmenin monoton olmayan modele dayalı olarak incelendiği sınırlı sayıda çalışma bulunmaktadır. Ölçek maddelerinin monotonluk varsayımına uygunluğu açısından, monoton ve monoton olmayan MTK modellerinin karşılaştırıldığı bir çalışmaya ise rastlanmamıştır. Ayrıca, çalışmalarda AGÖ maddelerinden elde edilen yanıt matrisinin boyutluluğunun faktör analizi çerçevesinde incelendiği, boyutluluk incelemelerinin MTK çerçevesinde parametrik ve parametrik olmayan yöntemlerle yapılmadığı görülmüştür. Ölçek maddelerinin boyutluluğuna ilişkin kararların, MTK çerçevesinde geliştirilmiş parametrik ve parametrik olmayan yöntemlerle elde edilen daha kapsamlı kanıtlara dayalı olarak verilmesi önemli görülmektedir. Alanyazındaki bu eksiklikler doğrultusunda, AGÖ maddelerinin boyutluluk açısından MTK çerçevesinde geliştirilmiş tek ve çok boyutlu parametrik ve parametrik olmayan modellere dayalı olarak incelenmesi gerekli görülmektedir.

Araştırmanın Amacı: AGÖ maddelerinin boyutluluk açısından MTK çerçevesinde geliştirilmiş Aşamalı Tepki Modeli (ATM), Genelleştirilmiş Aşamalı Monoton Olmayan Model (GAMOM), İki Faktör Modeli (İFM) ve DIMTEST analizine dayalı olarak incelenmesi araştırmanın amacını oluşturmaktadır.

Araştırmanın Yöntemi: Bu çalışma, AGÖ maddelerinin boyutluluk ve monotonluk varsayımlarına uygunluğu açısından bilgi sağlaması yönüyle betimsel, boyutluluğun farklı madde tepki kuramı modellerinin model veri uyumuna dayalı olarak karşılaştırılmasına dayalı olarak incelenmesi yönüyle de temel bir araştırma niteliğindedir. Araştırmanın çalışma grubunu 2016-2017 eğitim-öğretim yılı güz döneminde Ankara Üniversitesi’nin Eğitim Bilimleri, Siyasal Bilgiler, İletişim, Mühendislik, Diş Hekimliği, Veteriner ve Hukuk Fakültelerinde öğrenimini sürdüren üçüncü ve dördüncü sınıf öğrencileri oluşturmaktadır. Çalışma grubunda toplam 1858 öğrenci bulunmaktadır.
Araştırmanın verileri Akademik Güdülenme Ölçeği kullanılarak toplanmıştır. Fransızca olarak geliştirilen ölçeğin İngilizceye uyarlanması Vallerand ve diğerleri (1992) tarafından yapılmıştır. İngilizce formun yapı geçerliğinin incelenmesi amacıyla yapılan doğrulayıcı faktör analizi sonucunda yedi faktörlü yapı için kabul edilebilir uyum değerleri elde edilmiştir. Ölçeğin alt boyutları için elde edilen Cronbach Alfa güvenirlik katsayıları 0.83 ile 0.86 arasında değişmektedir. Akademik Güdülenme Ölçeği’nin İngilizce’den Türkçe’ye uyarlanması Karagüven (2012) tarafından yapılmıştır. Türkçe formun yapı geçerliğinin incelenmesi amacıyla açımlayıcı ve doğrulayıcı faktör analizi yapılmıştır. Doğrulayıcı faktör analizi sonucunda model veri uyumu değerlerinin yüksek olduğu ve özgün ölçeğin yedi faktörlü yapısının doğrulandığı bulunmuştur. Çalışmada ölçeğin boyutları; İçsel Motivasyon (Bilme, Başarma, Uyarım), Dışsal Motivasyon (Dışsal Düzenleme, İçe Yansıyan, Belirlenmiş) ve Motivasyonsuzluk olarak adlandırılmıştır.
Akademik Güdülenme Ölçeği’nden elde edilen madde yanıt matrisinin boyutluluğunun incelenmesi amacıyla Aşamalı Tepki Modeli (ATM), Genelleştirilmiş Aşamalı Monoton Olmayan Model (GAMOM) ve İki Faktör Modeli (İFM)’ne dayalı olarak madde ve birey parametre kestirimleri yapılmıştır. Ayrıca DIMTEST analizine dayalı olarak da boyutluluk incelemesi yapılmıştır. ATM’ye dayalı kestirimler R programında “mirt” paketi (Chalmers, 2012), GAMOM’a dayalı kestirimler GGUM2004 programı (Roberts, Donoghue ve Laughlin, 2000) kullanılarak yapılmıştır. İFM’ye dayalı parametre kestirimleri R programında “mirt” paketi (Chalmers, 2012) kullanılarak elde edilmiştir. Modeller arası karşılaştırmalar ölçek, madde ve birey düzeyinde genel, madde ve birey model veri uyumu istatistikleri hesaplanarak yapılmıştır. Ayrıca, iki faktör modeline dayalı olarak genel ve grup faktör tarafından açıklanan varyans oranları ve güvenirlik değerleri incelenmiştir.

Araştırmanın Bulguları: Genel model veri uyumu istatistiklerine dayalı olarak yapılan modeller arası karşılaştırmalar İFM’nin genel model veri uyumunun ATM’ye göre anlamlı biçimde daha iyi olduğu, (χ_(sd=26)^2=5829.4 p<0.05) ve model veri uyumunda %4’lük anlamlı bir iyileşme sağladığı bulunmuştur. Ancak, GAMOM’un hem ATM hem de İFM’ye göre daha düşük genel model veri uyumu istatistiklerine sahip olduğu bulunmuştur.
ATM’ye dayalı olarak maddeler için hesaplanan tüm uyum istatistiklerinin model veri uyumu için kabul edilen sınır değerin çok üzerinde olduğu görülmüştür. Uyum istatistiklerinin yüksek olması, ATM’nin madde düzeyinde model veri uyumu sağlamadığını göstermiştir. AGÖ maddelerinin tamamının İFM’ye uyum sağladığı, iki maddenin ise GAMOM’a uyum sağlamadığı bulunmuştur. Madde uyum istatistikleri, ATM’ye göre GAMOM’un madde düzeyinde sağladığı model veri uyumunun daha iyi olduğunu göstermiştir. İFM ve GAMOM arasında yapılan karşılaştırmalara dayalı olarak ise İFM’nin madde düzeyinde en iyi model veri uyumu sağlayan model olduğu bulunmuştur. Birey uyum istatistiklerine göre, üç model içerisinde birey düzeyinde en iyi model uyumunu ATM sağlamıştır. Uyum istatistiklerinin dağılımına göre İFM, ATM’den sonra birey düzeyinde en iyi uyumu sağlayan ikinci model olmuştur.
Genel boyut ve alt boyutların madde-yanıt matrisini açıklamadaki gücünü karşılaştırabilmek amacıyla hesaplanan indeks değerlerine dayalı olarak ölçek maddeleri ile ölçülen güçlü bir genel boyutun var olduğu bulunmuştur. DIMTEST analizi sonucunda yüksek T-istatistikleri ve anlamlılık değerleri elde edilmiştir. Yüksek değerler tüm alt boyutlarda yüksek koşullu kovaryansların elde edildiğini göstermiştir. Ölçeğin alt boyutlarında yer alan maddeler arasındaki ilişkilerin, baskın bir boyut tarafından açıklanabileceği hipotezinin doğrulanmadığı bulunmuştur.

Araştırmanın Sonuçları ve Önerileri: ATM, GAMOM ve İFM için model veri uyumu istatistiklerine ve indeks değerlerine dayalı olarak yapılan karşılaştırmalar birlikte düşünüldüğünde, ATM’ye göre monotonluk varsayımında bulunmayan tek boyutlu model ölçek maddelerine daha uyumludur. Ancak, üç model içerisinde İFM’nin ölçek maddelerine ve bireyler tarafından maddelere verilen yanıt örüntülerine en uyumlu model olduğu sonucuna ulaşılmıştır. Bu bulguya dayalı olarak araştırmacılara, bireylerin güdülenme düzeylerine ilişkin daha geçerli ve güvenilir sonuçlar elde etmek için hem genel boyutta hem de alt boyutlarda birey parametre kestirimlerini İFM’ye dayalı olarak yapmaları önerilmektedir. Benzer biçimde, Akademik Güdülenme Ölçeği’ni kullanmak isteyen uygulayıcıların da ölçekten toplam puan ya da alt boyut puanları hesaplamak yerine, bireylerin güdülenme düzeylerini belirlemek için madde tepki kuramı ya da faktör analizi çerçevesinde iki faktör modellemesine dayalı olarak kestirim yapmaları önerilmektedir.
Çalışma kapsamında, monoton ve monoton olmayan tek ve çok boyutlu modellerin uyumu güdülenme ölçeğine verilen yanıtlara dayalı olarak incelenmiştir. Tutum, ilgi gibi farklı duyuşsal özellikleri ölçmek amacıyla geliştirilmiş ölçekler üzerinde ATM, GAMOM ve İFM kullanılarak monotonluk ve boyutluluk varsayımları açısından karşılaştırmalar yapılabilir. Bu araştırmada kullanılan İFM de monotonluk varsayımına dayanan bir modeldir. Bu nedenle, hem çok boyutluluğu hem de monotonluk varsayımını göz önünde bulunduran çok boyutlu monoton olmayan MTK modeli de dahil edilerek modeller model veri uyumları açısından karşılaştırılabilir

Keywords

Çok boyutlu madde tepki kuramı, iki faktör modeli

References

• Berkeljon, A. (2012). Multidimensional item response theory in clinical measurement: a bifactor graded- response model analysis of the outcome questionnaire-45.2. (Doctoral dissertation). Retrieved from Brigham Young University Scholars Archive.
• Broadfoot, A. A. (2008). Comparing the dominance approach to the ideal-point approach in the measurement and predictability of personality. (Doctoral dissertation). Retrieved from OhioLINK Databases.
• Brown, T. A. (2006). Confirmatory factor analysis for applied research. New York: The Guilford Press.
• Cao, M., Drasgow, F., & Cho, S. (2015). Developing ideal intermediate personality items for the ideal point model. Organizational Research Methods, 18(2), 252- 275.
• Carter, N. T., & Dalal, D. K. (2010). An ideal point account of the JDI work satisfaction scale. Personality and Individual Differences, 49, 743-748.
• Carter, N. T., Guan, L., Maples, J. L., Williamson, R.L., & Miller, J.D. (2015). The downsides of extreme conscientiousness for psychological wellbeing: The role of obsessive compulsive tendencies. Journal of Personality, 84(4), 510 522.
• Chalmers, R. P. (2012). A multidimensional item response theory package for the R environment. Journal of Statistical Software, 48(6), 1-29.
• Chen, F. F., West, S. G., & Sousa, K. H. (2006). A comparison of bifactor and second-order models of quality of life. Multivariate Behavioral Research, 41(2), 189–225.
• Chernyshenko, O. S. (2003). Applications of ideal point approaches to scale construction and scoring in personality measurement: The development of a six-faceted measure of conscientiousness. Dissertation Abstracts International: Section B: The Sciences and Engineering, 63(11-B), 5556.
• Chernyshenko, O. S., Stark, S. E., Drasgow, F., & Roberts, J. S. (2007). Constructing personality scales under the assumptions of an ideal point response process: Toward increasing the flexibility of personality measures. Psychological Assessment, 19(1), 88-106.
• Chernyshenko, O. S., Stark, S., Chan, K. Y., Drasgow, F., & Williams, B. (2001). Fitting item response theory models to two personality inventories: Issues and insights. Multivariate Behavioral Research, 36(4), 523-562.
• De Ayala, R. J. (2009). The theory and practice of item response theory. New York: The Guilford Press.
• DeMars, C. (2010). Item response theory. New York: Oxford University Press, Inc.
• Drasgow, F., Levine, M. F., & Williams, E. A. (1985). Appropriateness measurement with polytomous item response model and standardized indices. British Journal of Mathematical and Statistical Psychology, 38, 67-86.
• Embretson, S.E., & Reise, S.P.(2000). Item response theory for psychologists. New Jersey: Lawrence Erlbaum Associate, Inc.
• Fairchild, A. J., Horst, S. J., Finney, S. J., & Barron, K. E. (2005). Evaluating existing and new validity evidence for the Academic Motivation Scale. Contemporary Educational Psychology, 30, 331-358.
• Gibbons, R. D., & Hedeker, D. R. (1992). Full information item bifactor analysis. Psychometrika, 57(3), 423-436.
• Gunnell, K. E., & Gaudreau, P. (2015). Testing a bifactor model to disentangle general and specific factors of motivation in self-determination theory. Personality and Individual Differences, 81, 35-40.
• Howard, J. L., Gagne, M., & Bureau, J. S. (2017). Testing a continuum structure of self-determined motivation: A meta-analysis. Psychological Bulletin, 143(12), 1346-137.
• Immekus, J., & Imbrie, P. K. (2008). Dimensionality assessment using the full information item bifactor analysis for graded response data an illustration with the State Metacognitive Inventory. Educational and Psychological Measurement, 68(4), 695-709.
• Karagüven, H. (2012). Akademik Motivasyon Ölçeğinin Türkçeye adaptasyonu. Kuram ve Uygulamada Eğitim Bilimleri, 12(4), 2599-2620.
• Li, Y., Jiao, H., & Lissitz, R. W. (2012). Applying multidimensional item response theory models in validating test dimensionality: An example of K–12 large scale science assessment. Journal of Applied Testing Technology, 13(2), 2-27.
• Ling, Y., Zhang, M., Locke, K. D., Li, G., & Li, Z. (2016) Examining the process of responding to circumplex scales of interpersonal values items: Should ideal point scoring methods be considered? Journal of Personality Assessment, 98(3), 310-318.
• Litalien, D., Morin, A. J. S., Gagne, M., Vallerand, R. J., Losier, G. F., & Ryan, R. M. (2017). Evidence of a continuum structure of academic self-determination: A two-study test using a bifactor-ESEM representation of academic motivation. Contemporary Educational Psychology, 51, 67-82.
• Lord, F. M. (1980). Applications of item response theory to practical testing problems. NJ: Lawrence Erlbaum.
• Meijer, R. R., & Baneke, J. J. (2004). Analyzing psychopathology items: A case for nonparametric item response theory modeling. Psychological Methods, 9, 354- 368.
• Miller, B. J. (2007). Unfolding analysis of the Academic Motivation Scale: A different approach to evaluating scale validity and Self-Determination Theory (Doctoral dissertation). Retrieved from ProQuest Digital Dissertations.
• Nandakumar, R., & Stout, W. (1993). Refinements of Stout’s procedure for assessing latent trait unidimensionality. Journal of Educational and Behavioral Statistics, 18(1), 41-68.
• Orlando, M., & Thissen, D. (2000). Likelihood-based item-fit indices for dichotomous item response theory models. Applied Psychological Measurement, 24, 50-64.
• Periard, D. (2016). A bifactor model of burnout? An item response theory analysis of the Maslach burnout inventory (Doctoral dissertation). Retrieved from OhioLINK Databases
• Quinn, H. O. (2014). Bifactor models, explained common variance (ECV) and the usefulness of scores from unidimensional item response theory analyses. (Master’s thesis). Retrieved from University of Carolina Digital Repository.
• Reckase M. D, & McKinley, R. L. (1991) The discriminating power of items that measure more than one dimension. Applied Psychological Measurement 15, 361-373.
• Reckase, M. D. (1990). Unidimensional data from multidimensional tests and multidimensional data from unidimensional tests. Paper presented at the Annual Meeting of the American Educational Research Association.
• Reckase, M. D. (2009). Multidimensional item response theory. New York: Springer.
• Reise, S. P. (2012). The rediscovery of bifactor measurement models. Multivariate Behavioral Research, 47, 667-696.
• Reise, S. P., & Revicki, D. A. (2015). Handbook of item response theory modeling. New York: Taylor & Francis Group.
• Reise, S. P., Moore, T. M., & Haviland, M. G. (2013). Applying unidimensional item response theory models to psychological data. K. F. Geisinger (Ed.). APA handbook of testing and assessment in psychology. Washington DC: APA.
• Reise, S. P., Scheines, R., Widaman, K. F., & Haviland, M. G. (2013). Multidimensionality and structural coefficient bias in structural equation modeling: A bifactor perspective. Educational and Psychological Measurement, 73(1), 5-26.
• Roberts, J. S. (1995). Item response theory approaches to attitude measurement (Doctoral dissertation). University of South Caroline, USA.
• Roberts, J. S., Donoghue, J. R., & Laughlin, J. E. (1999). Estimating parameters in the generalized graded unfolding model: Sensitivity to the prior distribution assumption and the number of quadrature points used. Paper presented at the Annual Meeting of the National Council on Measurement in Education
• Roberts, J. S., Donoghue, J. R., & Laughlin, J. E. (2000). A general item response theory model for unfolding unidimensional polytomous responses. Applied Psychological Measurement, 24(1), 3–32.
• Roberts, J. S., Laughlin, J. E., & Wedell, D. H. (1999). Validity issues in the Likert and Thurstone approaches to Attitude Measurement. Educational And Psychological Measurement, 59(2), 211-233.
• Ryan, R. M., & Connell, J. M. (1989). Perceived locus of causality and ınternalization: examining reasons for acting in two domains. Journal of Personality and Social Psychology, 57(5), 749-761.
• Ryan, R. M., & Deci, E. L. (2000a). Intrinsic and extrinsic motivations: Classic definitions and new directions. Contemporary Educational Psychology, 25, 54-67.
• Ryan, R. M., & Deci, E. L. (2000b). Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being. American Psychologist, 55(1), 68-78.
• Ryan, R. M., Rigby, C. S., & Przybylski, A. (2006). The motivational pull of video games: A self-determination theory approach. Motiv Emot, 30, 347-363.
• Sgammato, A. N. (2009). An application of unfolding and cumulative item response theory models for noncognitive scaling: Examining the assumptions and applicability of the generalized graded unfolding model (Doctoral dissertation). Retrieved from University of Carolina Digital Repository.
• Spector, P. E., Katwyk, P. T., Brannick, M. T., & Chen, P. Y. (1997). When two factors don’t reflect two constructs: How item characteristic can produce artifactual factors. Journal of Management, 23(5), 659-677.
• Speer, A. B., Robie, C., & Christiansen, N. D. (2016). Effects of item type and estimation method on the accuracy of estimated personality trait scores: Polytomous item response theory models versus summated scoring. Personality and Individual Differences, 102, 41–45.
• Stark, S. (2001). MODFIT: A computer program for model-data fit. Urbana Champaign, IL: University of Illinois at Urbana-Champaign.
• Studts, C. R. (2008). Improving screening for externalizing behavior problems in very young children: Applications of item response theory to evaluate instruments in pediatric primary care (Doctoral dissertation). Retrieved from ThinkIR: The University of Louisville's Institutional Repository
• Tate, R. (2002). Test dimensionality. G. Tindal, & T. M. Haladyna (Ed.). Validity, technical adequacy, and implementation (p. 181-213). New Jersey: Lawrence Erlbaum Associates, Publishers.
• Tay, L., & Drasgow, F. (2012). Theoretical, statistical, and substantive ıssues in the assessment of construct dimensionality: Accounting for the item response process. Organizational Research Methods, 15(3), 1-22.
• Tay, L., Drasgow, F., Rounds, J., & Williams, B. (2009). Fitting measurement models to vocational ınterest data: Are dominance models ıdeal? Journal of Applied Psychology, 94, 1287-1304.
• Tendeiro, J. N. (2016). The lz(p) person-fit statistic in an unfolding model context. Applied Psychological Measurement, 41(1), 44-59.
• Thissen, D., & Wainer, H. (2001). Test scoring. NJ: Lawrence Erlbaum Associates, Inc.
• Vallerand, R. J., Pelletier, L. G., Blais, M. R, Brière, N. M., Senécal, C., & Vallières, E. F. (1993). On the assessment of intrinsic, extrinsic and amotivation in education: evidence on the concurrent and construct validity of the academic motivation scale. Educational and Psychological Measurement, 53, 159-172.
• Vallerand, R. J., Pelletier, L. G., Blais, M. R, Brière, N. M., Senécal, C., & Vallières, E. F. (1992). The academic motivation scale: a measure of ıntrinsic, extrinsic and amotivation in education. Educational and Psychological Measurement, 52, 1003-1017.
• Van Schuur, W. H., & Kiers, H. A. L. (1994). Why factor analysis often is the incorrect model for analyzing bipolar concepts, and what model to use instead. Applied Psychological Measurement, 18(2), 97-110.