Research Article
BibTex RIS Cite

GDINA R Paketi Kullanarak Bilişsel Tanı Modelleri Uygulaması

Year 2019, Volume: 19 Issue: 80, 171 - 192, 15.02.2019

Abstract

Formatif değerlendirme
için hazırlanmı
ş olan ölçme araçları, amaçlı bir şekilde
tasarlandı
ğında, tanılayıcı bilgi toplamamıza imkân sağlarlar. Bu tür bilgilere dayanarak yapılan çıkarımlar
e
ğitimcilerin
telafi edici eylemler gerçekle
ştirmelerini sağlar.
Son zamanlarda geli
ştirilen formatif değerlendirme
yöntemleri ö
ğrencilere ve öğretmenlere
ö
ğrencilerin
hangi bilgi ve beceri parçacıklarına (bili
şsel
niteliklere) sahip oldukları ya da olmadıklarıyla ilgili ayrıntılı geri
bildirim sa
ğlayabilmektedir. Bu geribildirimlerin öğretimi
ve ö
ğrenmeyi
optimize etmek amacıyla kullanılması beklenmektedir. Formatif ölçme ve de
ğerlendirmelerin
sonuçlarından tanısal bilgi edinebilmek için iyi tasarlanmı
ş
sınavların uygulanmasının yanı sıra çe
şitli
bili
şsel
tanı modellerinin kullanımına da ihtiyaç vardır. Ancak, bu modellerin alan
yazına yeni kazandırılmı
ş olması ve eğitimcilerin
henüz yeterince a
şina olmamaları nedeniyle,
bili
şsel
tanı modellemelerinin (BTM) parametre kestirimlerinin ve di
ğer
ilgili analizlerin uygulamaları yeterince yaygınla
şmamıştır.

Bu
makalenin amacı BTM’ye a
şina olmayan eğitimci
ve ara
ştırmacılara
BTM’nin temel prensiplerini tanıtmak ve ücretsiz bir yazılım olan GDINA R
paketi kullanılarak yapılabilecek çeşitli BTM uygulamalarını yeterince detaylı
olarak göstermektir. BTM analizleri yapan bazı yazılım programlarının mevcut
olmasına rağmen, alanla ilgili en kapsamlı paketlerden biri olan GDINA R
paketinin kullanımının sağlayacağı avantajlar arasında şunlar sayılabilir: (1)
Birçok bilişsel tanı modelinin kestiriminin R ile mümkün olması; (2) Diğer
birçok yazılım programlarının tek tip modelin kestirimine imkan veriyor olması;
(3) Diğer programların çoğunun ticari olması veya ancak yazarın kendisiyle
irtibat kurularak temin edilebilir olması; ve (4) Sözdizimi (sintaks) hazırlamanın
bazı programlarda oldukça zahmet verici olması.

Bu
makalede öncelikle BTM analizinin girdi ve çıktıları da dahil olmak üzere BTM
terminolojisi tartışılmakta, sonrasında GDINA model yapısı tanıtılmakta ve
GDINA R paketi sunulmaktadır. Sonrasında ise nümerik bir örnek veri setinden
yola çıkılarak, GDINA R paketi ve bu paketin sundu
ğu
grafiksel kullanıcı ara yüzü (GUI: graphical user interface) kullanılarak
yapılabilecek analiz türleri adım adım takip edilebilecek
şekilde
sunulmu
ştur.
Ayrıca gerekli görülen noktalarda yapılan i
ş ve işlemlerin
teorik bilgisine ve elde edilen sonuçların yorumlanmasına dair bilgiler verilmi
ştir. İlerleyen
bölümlerde, GUI ile yapılamayan ancak GDINA paketinin sundu
ğu ve
R kullanımına a
şina olan kullanıcıların sözdizimi yazarak
yapabilecekleri ilave analizlere ve paketin ek özelliklerine yer verilmi
ştir.
Makalenin son bölümünde ise bazı hatırlatma ve tespitler yapılmı
ştır.

G-DINA modeli ve GDINA paketi

Genel
ya da kısıtlanmı
ş olarak birçok bilişsel
tanı modelinin ayrımları ö
ğrencinin maddeleri cevaplama
sürecinde bili
şsel niteliklerin (ölçülen bilgi ya da
becerilerin) etkile
şimlerine bağ
olarak yapılır. G-DINA gibi genel modellerde bütün ana etkiler ve etkile
şim
etkileri madde tepki fonksiyonuna katkıda bulunur. Bu tür genel modellerin
parametrelerinde yapılacak kısıtlamalarla daha kısıtlı ya da daha sade modeller
elde edilebilir. Bunun yanı sıra, genel modellerde birden farklı
link fonksiyonlarının kullanımı da söz
konusudur. Örne
ğin, G-DINA model identity, logit ve log
linkleriyle farklı isimlerle sunulabilir, ancak farklı linklerle ortaya konulan
genel modeller özde
ş model-veri uyumuna
sahiptirler.

GDINA
paketi GUI aracılı
ğıyla farklı linkler altında
olu
şturulabilecek
olan GDINA, logit GDINA, log GDINA’nın yanı sıra, bu genel modellerde ortaya
koyulacak kısıtlamalarla olu
şturulabilen DINA, DINO,
ACDM, LLM, ve RRUM modellerinin kestirimine imkan verir. Ayrıca, GUI aracılı
ğıyla
olmasa da, R kullanımına a
şina olan ve sözdizimi
yazabilen kullanıcılar GDINA R paketini kullanarak farklı stratejilerin
kullanımı durumunu göz önünde bulunduran MS-DINA ve G-DINA’nın farklı
uzantılarından olu
şan modellerin (ör. sınıflama
ve sıralama ölçekleriyle elde edilen veriler için
sequential G-DINA ve kısmi puanlamalı nitelikleri için polytomous G-DINA) kestirimini
yapabilirler.













GDINA'yı
kullanarak, testi alanların nitelikleri kazanmı
ş ya da kazanamamış olma durumlarıyla ilgili tanılayıcı bilgi; belirli bir
niteli
ğin kazandırılma
oranı; ve belirli bir profile sahip olan ki
şilerin oranı ile ilgili bilgiler elde edilebilir. Bunların dışında, temel CDM
analizlerinin yanı sıra, madde ve nitelikler arasındaki etkile
şimi en iyi
açıklayan BTM’nin kullanılabilmesi adına GDINA paketi ara
ştırmacıların test-
ve madde-düzeyinde model seçimi yapabilmelerine imkan tanır. GDINA paketi aynı
zamanda madde-nitelik e
şleştirme matrisinde yapılabilecek muhtemel yanlışları ortaya
çıkarmaya yardımcı olmak adına ampirik olarak Q-matrisin uygunlu
ğunun doğrulamasını sağlayan metotların
kullanılmasına imkan sa
ğlar. Son olarak, bu paket, çeşitli kolay ve kullanışlı grafikler ortaya koyar. Bu grafikler elde edilen analiz
sonuçlarında önemli noktaların vurgulanmasına ve elde edilen istatistik ve
parametrelerin kolaylıkla kar
şılaştırılmasına olanak sağlar.

References

  • Alderson, J. C. (2005). Diagnosing foreign language proficiency: The interface between learning and assessment. A&C Black.
  • Akaike, H. (1973). Information theory and an extension of the maximum likelihood principle. In B. N. Petrov & F. Csaki (Ed.), Proceedings of the Second International Symposium on Information Theory (pp. 267–281). Budapest, Hungary: Akad. Kiado.
  • Akbay, L., Terzi, R., Kaplan, M., & Karaaslan, K. G. (2017). Expert-based attribute identification and validation on fraction subtraction: A cognitively diagnostic assessment application. Journal on Mathematics Education, 8, 103-120.
  • Chen, J. & de la Torre, J. (2013). A general cognitive diagnosis model for expert-defined polytomous attributes. Applied Psychological Measurement, 37, 419-437.
  • Chen, J., de la Torre, J., & Zhang, Z. (2013). Relative and absolute fit evaluation in cognitive diagnosis modeling. Journal of Educational Measurement, 50, 123-140.
  • Chiu, C. Y. (2013). Statistical refinement of the q-matrix in cognitive diagnosis. Applied Psychological Measurement, 37, 598-618.
  • de la Torre, J. (2008). An empirically based method of Q-matrix validation for the DINA model: Development and applications. Journal of Educational Measurement, 45, 343-362.
  • de la Torre, J. (2009). DINA model and parameter estimation: A didactic. Journal of Educational and Behavioral Statistics, 34, 115-130.
  • de la Torre, J. (2011). The generalized DINA model framework. Psychometrika, 76, 179-199.
  • de la Torre, J., & Chiu, C. Y. (2016). General method of empirical Q-matrix validation. Psychometrika, 81, 253-273.
  • de la Torre, J., & Douglas, J. A. (2008). Model evaluation and multiple strategies in cognitive diagnosis: An analysis of fraction subtraction data. Psychometrika, 73, 595.
  • de la Torre, J., & Lee, Y. S. (2013). Evaluating the Wald test for item-level comparison of saturated and reduced models in cognitive diagnosis. Journal of Educational Measurement, 50, 355-373.
  • de la Torre, J., & Ma, W. (2016, August). Cognitive diagnosis modeling: A general framework approach and its implementation in R. A Short Course at the Fourth Conference on Statistical Methods in Psychometrics, Columbia University, New York, NY.
  • DiBello, L. V., & Stout, W. (2007). Guest editors' introduction and overview: IRT-based cognitive diagnostic models and related methods. Journal of Educational Measurement, 44, 285-291.
  • Hartz, S. M. (2002). A Bayesian framework for the unified model for assessing cognitive abilities: Blending theory with practicality (Unpublished doctoral dissertation).
  • Henson, R. A., Templin, J. L., & Willse, J. T. (2009). Defining a family of cognitive diagnosis models using log-linear models with latent variables. Psychometrika, 74, 191-210.
  • Hou, L., de la Torre, J. D., & Nandakumar, R. (2014). Differential item functioning assessment in cognitive diagnostic modeling: Application of the Wald test to investigate DIF in the DINA model. Journal of Educational Measurement, 51, 98-125.
  • Junker, B. W., & Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory. Applied Psychological Measurement, 25, 258-272.
  • Leighton, J. P., & Gierl, M. J. (2007). Defining and evaluating models of cognition used in educational measurement to make inferences about examinees' thinking processes. Educational Measurement: Issues and Practice, 26(2), 3-16.
  • Leighton, J. P., Gierl, M. J., & Hunka, S. M. (2004). The attribute hierarchy method for cognitive assessment: A variation on Tatsuoka's rule-space approach. Journal of Educational Measurement, 41, 205-237.
  • Ma, W. (2018). A diagnostic tree model for polytomous responses with multiple strategies. British Journal of Mathematical and Statistical Psychology. https://doi.org/10.111/bmsp.12137
  • Ma, W., & de la Torre, J. (2016). A sequential cognitive diagnosis model for polytomous responses. British Journal of Mathematical and Statistical Psychology, 69, 253-275.
  • Ma, W., & de la Torre, J. (2018). GDINA: The generalized DINA model framework, R package version 2.1.15. Retrived from https://CRAN.R-project.org/package=GDINA
  • Ma, W., Iaconangelo, C., & de la Torre, J. (2016). Model similarity, model selection, and attribute classification. Applied Psychological Measurement, 40, 200-217.
  • Ma, W., Terzi, R., Lee, S. Y., & de la Torre, J. (2017, April). Multiple group cognitive diagnosis models and their applications in detecting differential item functioning. The annual meeting of American Educational Research Association, San Antonio, TX.
  • Maris, E. (1999). Estimating multiple classification latent class models. Psychometrika, 64, 187-212.
  • Schwarz, G. (1978). Estimating the dimension of a model. The Annals of Statistics, 6, 461-464.
  • Sinharay, S., & Almond, R. G. (2007). Assessing fit of cognitive diagnostic models a case study. Educational and Psychological Measurement, 67, 239-257.
  • Tatsuoka, K. K. (1983). Rule space: An approach for dealing with misconceptions based on item response theory. Journal of Educational Measurement, 20, 345-354.
  • Team, R. C. (2015). R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing.
  • Templin, J. L., & Henson, R. A. (2006). Measurement of psychological disorders using cognitive diagnosis models. Psychological Methods, 11, 287.
  • Tjoe, H., & de la Torre, J. (2014). The identification and validation process of proportional reasoning attributes: an application of a cognitive diagnosis modeling framework. Mathematics Education Research Journal, 26, 237-255.

Implementation of Cognitive Diagnosis Modeling using the GDINA R Package

Year 2019, Volume: 19 Issue: 80, 171 - 192, 15.02.2019

Abstract

Purpose: Well-designed
assessment methodologies and various cognitive diagnosis models (CDMs) to
extract diagnostic information about examinees’ individual strengths and
weaknesses have been developed. Due to this novelty, as well as educational
specialists’ lack of familiarity with CDMs, their applications are not
widespread. This article aims at presenting the fundamentals of CDM and
demonstrating the various implementations using a freeware R package, namely,
the GDINA. Present article explains the basics of CDM and provide sufficient
details on the implementations so that it may guide novice researchers in CDM
applications

Research Methods: The manuscript starts with presenting the CDM
terminology, including input and output of a CDM analysis. The introduction
section is followed by generalized deterministic noisy and gate model
framework. A brief description of the package GDINA is also provided. Then,
numerical examples on various CDM analyses are provided using the R package
with a graphical user interface. The paper is concluded by some additional
functions and concluding remarks.

Results
and Implications for Research and Practice:
Although other software
programs are also available, using the GDINA package offers users some
flexibilities such as allowing estimation of a wide range of CDMs and allowing
nonprogrammers to benefit from this package through the GUI. In addition to ordinary
CDM analyses, GDINA package further allows users to apply model selection at
the test- and item-level to make sure that the most appropriate CDM (i.e., CDM
that best explains the attribute interactions in the item) is fitted to the
response data. Furthermore, to identify possible item-attribute specification
mistakes in the Q-matrix, implementation of an empirical Q-matrix validation
method is available in the GDINA package. Lastly, this package offers various
handy graphs, which can be very useful in emphasizing important information and
comparing various parameters and/or statistics.

References

  • Alderson, J. C. (2005). Diagnosing foreign language proficiency: The interface between learning and assessment. A&C Black.
  • Akaike, H. (1973). Information theory and an extension of the maximum likelihood principle. In B. N. Petrov & F. Csaki (Ed.), Proceedings of the Second International Symposium on Information Theory (pp. 267–281). Budapest, Hungary: Akad. Kiado.
  • Akbay, L., Terzi, R., Kaplan, M., & Karaaslan, K. G. (2017). Expert-based attribute identification and validation on fraction subtraction: A cognitively diagnostic assessment application. Journal on Mathematics Education, 8, 103-120.
  • Chen, J. & de la Torre, J. (2013). A general cognitive diagnosis model for expert-defined polytomous attributes. Applied Psychological Measurement, 37, 419-437.
  • Chen, J., de la Torre, J., & Zhang, Z. (2013). Relative and absolute fit evaluation in cognitive diagnosis modeling. Journal of Educational Measurement, 50, 123-140.
  • Chiu, C. Y. (2013). Statistical refinement of the q-matrix in cognitive diagnosis. Applied Psychological Measurement, 37, 598-618.
  • de la Torre, J. (2008). An empirically based method of Q-matrix validation for the DINA model: Development and applications. Journal of Educational Measurement, 45, 343-362.
  • de la Torre, J. (2009). DINA model and parameter estimation: A didactic. Journal of Educational and Behavioral Statistics, 34, 115-130.
  • de la Torre, J. (2011). The generalized DINA model framework. Psychometrika, 76, 179-199.
  • de la Torre, J., & Chiu, C. Y. (2016). General method of empirical Q-matrix validation. Psychometrika, 81, 253-273.
  • de la Torre, J., & Douglas, J. A. (2008). Model evaluation and multiple strategies in cognitive diagnosis: An analysis of fraction subtraction data. Psychometrika, 73, 595.
  • de la Torre, J., & Lee, Y. S. (2013). Evaluating the Wald test for item-level comparison of saturated and reduced models in cognitive diagnosis. Journal of Educational Measurement, 50, 355-373.
  • de la Torre, J., & Ma, W. (2016, August). Cognitive diagnosis modeling: A general framework approach and its implementation in R. A Short Course at the Fourth Conference on Statistical Methods in Psychometrics, Columbia University, New York, NY.
  • DiBello, L. V., & Stout, W. (2007). Guest editors' introduction and overview: IRT-based cognitive diagnostic models and related methods. Journal of Educational Measurement, 44, 285-291.
  • Hartz, S. M. (2002). A Bayesian framework for the unified model for assessing cognitive abilities: Blending theory with practicality (Unpublished doctoral dissertation).
  • Henson, R. A., Templin, J. L., & Willse, J. T. (2009). Defining a family of cognitive diagnosis models using log-linear models with latent variables. Psychometrika, 74, 191-210.
  • Hou, L., de la Torre, J. D., & Nandakumar, R. (2014). Differential item functioning assessment in cognitive diagnostic modeling: Application of the Wald test to investigate DIF in the DINA model. Journal of Educational Measurement, 51, 98-125.
  • Junker, B. W., & Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory. Applied Psychological Measurement, 25, 258-272.
  • Leighton, J. P., & Gierl, M. J. (2007). Defining and evaluating models of cognition used in educational measurement to make inferences about examinees' thinking processes. Educational Measurement: Issues and Practice, 26(2), 3-16.
  • Leighton, J. P., Gierl, M. J., & Hunka, S. M. (2004). The attribute hierarchy method for cognitive assessment: A variation on Tatsuoka's rule-space approach. Journal of Educational Measurement, 41, 205-237.
  • Ma, W. (2018). A diagnostic tree model for polytomous responses with multiple strategies. British Journal of Mathematical and Statistical Psychology. https://doi.org/10.111/bmsp.12137
  • Ma, W., & de la Torre, J. (2016). A sequential cognitive diagnosis model for polytomous responses. British Journal of Mathematical and Statistical Psychology, 69, 253-275.
  • Ma, W., & de la Torre, J. (2018). GDINA: The generalized DINA model framework, R package version 2.1.15. Retrived from https://CRAN.R-project.org/package=GDINA
  • Ma, W., Iaconangelo, C., & de la Torre, J. (2016). Model similarity, model selection, and attribute classification. Applied Psychological Measurement, 40, 200-217.
  • Ma, W., Terzi, R., Lee, S. Y., & de la Torre, J. (2017, April). Multiple group cognitive diagnosis models and their applications in detecting differential item functioning. The annual meeting of American Educational Research Association, San Antonio, TX.
  • Maris, E. (1999). Estimating multiple classification latent class models. Psychometrika, 64, 187-212.
  • Schwarz, G. (1978). Estimating the dimension of a model. The Annals of Statistics, 6, 461-464.
  • Sinharay, S., & Almond, R. G. (2007). Assessing fit of cognitive diagnostic models a case study. Educational and Psychological Measurement, 67, 239-257.
  • Tatsuoka, K. K. (1983). Rule space: An approach for dealing with misconceptions based on item response theory. Journal of Educational Measurement, 20, 345-354.
  • Team, R. C. (2015). R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing.
  • Templin, J. L., & Henson, R. A. (2006). Measurement of psychological disorders using cognitive diagnosis models. Psychological Methods, 11, 287.
  • Tjoe, H., & de la Torre, J. (2014). The identification and validation process of proportional reasoning attributes: an application of a cognitive diagnosis modeling framework. Mathematics Education Research Journal, 26, 237-255.
There are 33 citations in total.

Details

Primary Language English
Journal Section Articles
Authors

Jimmy De La Torre This is me

Publication Date February 15, 2019
Published in Issue Year 2019 Volume: 19 Issue: 80

Cite

APA De La Torre, J. (2019). Implementation of Cognitive Diagnosis Modeling using the GDINA R Package. Eurasian Journal of Educational Research, 19(80), 171-192.
AMA De La Torre J. Implementation of Cognitive Diagnosis Modeling using the GDINA R Package. Eurasian Journal of Educational Research. February 2019;19(80):171-192.
Chicago De La Torre, Jimmy. “Implementation of Cognitive Diagnosis Modeling Using the GDINA R Package”. Eurasian Journal of Educational Research 19, no. 80 (February 2019): 171-92.
EndNote De La Torre J (February 1, 2019) Implementation of Cognitive Diagnosis Modeling using the GDINA R Package. Eurasian Journal of Educational Research 19 80 171–192.
IEEE J. De La Torre, “Implementation of Cognitive Diagnosis Modeling using the GDINA R Package”, Eurasian Journal of Educational Research, vol. 19, no. 80, pp. 171–192, 2019.
ISNAD De La Torre, Jimmy. “Implementation of Cognitive Diagnosis Modeling Using the GDINA R Package”. Eurasian Journal of Educational Research 19/80 (February 2019), 171-192.
JAMA De La Torre J. Implementation of Cognitive Diagnosis Modeling using the GDINA R Package. Eurasian Journal of Educational Research. 2019;19:171–192.
MLA De La Torre, Jimmy. “Implementation of Cognitive Diagnosis Modeling Using the GDINA R Package”. Eurasian Journal of Educational Research, vol. 19, no. 80, 2019, pp. 171-92.
Vancouver De La Torre J. Implementation of Cognitive Diagnosis Modeling using the GDINA R Package. Eurasian Journal of Educational Research. 2019;19(80):171-92.