GDINA R Paketi Kullanarak Bilişsel Tanı Modelleri Uygulaması

Yıl 2019, Cilt: 19 Sayı: 80, 171 - 192, 15.02.2019

Jimmy De La Torre

Öz

Formatif değerlendirme
için hazırlanmış olan ölçme araçları, amaçlı bir şekilde
tasarlandığında, tanılayıcı bilgi toplamamıza imkân sağlarlar. Bu tür bilgilere dayanarak yapılan çıkarımlar
eğitimcilerin
telafi edici eylemler gerçekleştirmelerini sağlar.
Son zamanlarda geliştirilen formatif değerlendirme
yöntemleri öğrencilere ve öğretmenlere
öğrencilerin
hangi bilgi ve beceri parçacıklarına (bilişsel
niteliklere) sahip oldukları ya da olmadıklarıyla ilgili ayrıntılı geri
bildirim sağlayabilmektedir. Bu geribildirimlerin öğretimi
ve öğrenmeyi
optimize etmek amacıyla kullanılması beklenmektedir. Formatif ölçme ve değerlendirmelerin
sonuçlarından tanısal bilgi edinebilmek için iyi tasarlanmış
sınavların uygulanmasının yanı sıra çeşitli
bilişsel
tanı modellerinin kullanımına da ihtiyaç vardır. Ancak, bu modellerin alan
yazına yeni kazandırılmış olması ve eğitimcilerin
henüz yeterince aşina olmamaları nedeniyle,
bilişsel
tanı modellemelerinin (BTM) parametre kestirimlerinin ve diğer
ilgili analizlerin uygulamaları yeterince yaygınlaşmamıştır.

Bu
makalenin amacı BTM’ye aşina olmayan eğitimci
ve araştırmacılara
BTM’nin temel prensiplerini tanıtmak ve ücretsiz bir yazılım olan GDINA R
paketi kullanılarak yapılabilecek çeşitli BTM uygulamalarını yeterince detaylı
olarak göstermektir. BTM analizleri yapan bazı yazılım programlarının mevcut
olmasına rağmen, alanla ilgili en kapsamlı paketlerden biri olan GDINA R
paketinin kullanımının sağlayacağı avantajlar arasında şunlar sayılabilir: (1)
Birçok bilişsel tanı modelinin kestiriminin R ile mümkün olması; (2) Diğer
birçok yazılım programlarının tek tip modelin kestirimine imkan veriyor olması;
(3) Diğer programların çoğunun ticari olması veya ancak yazarın kendisiyle
irtibat kurularak temin edilebilir olması; ve (4) Sözdizimi (sintaks) hazırlamanın
bazı programlarda oldukça zahmet verici olması.

Bu
makalede öncelikle BTM analizinin girdi ve çıktıları da dahil olmak üzere BTM
terminolojisi tartışılmakta, sonrasında GDINA model yapısı tanıtılmakta ve
GDINA R paketi sunulmaktadır. Sonrasında ise nümerik bir örnek veri setinden
yola çıkılarak, GDINA R paketi ve bu paketin sunduğu
grafiksel kullanıcı ara yüzü (GUI: graphical user interface) kullanılarak
yapılabilecek analiz türleri adım adım takip edilebilecek şekilde
sunulmuştur.
Ayrıca gerekli görülen noktalarda yapılan iş ve işlemlerin
teorik bilgisine ve elde edilen sonuçların yorumlanmasına dair bilgiler verilmiştir. İlerleyen
bölümlerde, GUI ile yapılamayan ancak GDINA paketinin sunduğu ve
R kullanımına aşina olan kullanıcıların sözdizimi yazarak
yapabilecekleri ilave analizlere ve paketin ek özelliklerine yer verilmiştir.
Makalenin son bölümünde ise bazı hatırlatma ve tespitler yapılmıştır.

G-DINA modeli ve GDINA paketi

Genel
ya da kısıtlanmış olarak birçok bilişsel
tanı modelinin ayrımları öğrencinin maddeleri cevaplama
sürecinde bilişsel niteliklerin (ölçülen bilgi ya da
becerilerin) etkileşimlerine bağlı
olarak yapılır. G-DINA gibi genel modellerde bütün ana etkiler ve etkileşim
etkileri madde tepki fonksiyonuna katkıda bulunur. Bu tür genel modellerin
parametrelerinde yapılacak kısıtlamalarla daha kısıtlı ya da daha sade modeller
elde edilebilir. Bunun yanı sıra, genel modellerde birden farklı link fonksiyonlarının kullanımı da söz
konusudur. Örneğin, G-DINA model identity, logit ve log
linkleriyle farklı isimlerle sunulabilir, ancak farklı linklerle ortaya konulan
genel modeller özdeş model-veri uyumuna
sahiptirler.

GDINA
paketi GUI aracılığıyla farklı linkler altında
oluşturulabilecek
olan GDINA, logit GDINA, log GDINA’nın yanı sıra, bu genel modellerde ortaya
koyulacak kısıtlamalarla oluşturulabilen DINA, DINO,
ACDM, LLM, ve RRUM modellerinin kestirimine imkan verir. Ayrıca, GUI aracılığıyla
olmasa da, R kullanımına aşina olan ve sözdizimi
yazabilen kullanıcılar GDINA R paketini kullanarak farklı stratejilerin
kullanımı durumunu göz önünde bulunduran MS-DINA ve G-DINA’nın farklı
uzantılarından oluşan modellerin (ör. sınıflama
ve sıralama ölçekleriyle elde edilen veriler için sequential G-DINA ve kısmi puanlamalı nitelikleri için polytomous G-DINA) kestirimini
yapabilirler.

GDINA'yı
kullanarak, testi alanların nitelikleri kazanmış ya da kazanamamış olma durumlarıyla ilgili tanılayıcı bilgi; belirli bir
niteliğin kazandırılma
oranı; ve belirli bir profile sahip olan kişilerin oranı ile ilgili bilgiler elde edilebilir. Bunların dışında, temel CDM
analizlerinin yanı sıra, madde ve nitelikler arasındaki etkileşimi en iyi
açıklayan BTM’nin kullanılabilmesi adına GDINA paketi araştırmacıların test-
ve madde-düzeyinde model seçimi yapabilmelerine imkan tanır. GDINA paketi aynı
zamanda madde-nitelik eşleştirme matrisinde yapılabilecek muhtemel yanlışları ortaya
çıkarmaya yardımcı olmak adına ampirik olarak Q-matrisin uygunluğunun doğrulamasını sağlayan metotların
kullanılmasına imkan sağlar. Son olarak, bu paket, çeşitli kolay ve kullanışlı grafikler ortaya koyar. Bu grafikler elde edilen analiz
sonuçlarında önemli noktaların vurgulanmasına ve elde edilen istatistik ve
parametrelerin kolaylıkla karşılaştırılmasına olanak sağlar.

Anahtar Kelimeler

Bilişsel tanı modelleri, GDINA, R paketi, BTM uygulamaları.

Implementation of Cognitive Diagnosis Modeling using the GDINA R Package

Öz

Purpose: Well-designed
assessment methodologies and various cognitive diagnosis models (CDMs) to
extract diagnostic information about examinees’ individual strengths and
weaknesses have been developed. Due to this novelty, as well as educational
specialists’ lack of familiarity with CDMs, their applications are not
widespread. This article aims at presenting the fundamentals of CDM and
demonstrating the various implementations using a freeware R package, namely,
the GDINA. Present article explains the basics of CDM and provide sufficient
details on the implementations so that it may guide novice researchers in CDM
applications

Research Methods: The manuscript starts with presenting the CDM
terminology, including input and output of a CDM analysis. The introduction
section is followed by generalized deterministic noisy and gate model
framework. A brief description of the package GDINA is also provided. Then,
numerical examples on various CDM analyses are provided using the R package
with a graphical user interface. The paper is concluded by some additional
functions and concluding remarks.

Results
and Implications for Research and Practice: Although other software
programs are also available, using the GDINA package offers users some
flexibilities such as allowing estimation of a wide range of CDMs and allowing
nonprogrammers to benefit from this package through the GUI. In addition to ordinary
CDM analyses, GDINA package further allows users to apply model selection at
the test- and item-level to make sure that the most appropriate CDM (i.e., CDM
that best explains the attribute interactions in the item) is fitted to the
response data. Furthermore, to identify possible item-attribute specification
mistakes in the Q-matrix, implementation of an empirical Q-matrix validation
method is available in the GDINA package. Lastly, this package offers various
handy graphs, which can be very useful in emphasizing important information and
comparing various parameters and/or statistics.

Anahtar Kelimeler

CDM, cognitive diagnosis modeling, GDINA package, R implementation

Kaynakça

• Alderson, J. C. (2005). Diagnosing foreign language proficiency: The interface between learning and assessment. A&C Black.
• Akaike, H. (1973). Information theory and an extension of the maximum likelihood principle. In B. N. Petrov & F. Csaki (Ed.), Proceedings of the Second International Symposium on Information Theory (pp. 267–281). Budapest, Hungary: Akad. Kiado.
• Akbay, L., Terzi, R., Kaplan, M., & Karaaslan, K. G. (2017). Expert-based attribute identification and validation on fraction subtraction: A cognitively diagnostic assessment application. Journal on Mathematics Education, 8, 103-120.
• Chen, J. & de la Torre, J. (2013). A general cognitive diagnosis model for expert-defined polytomous attributes. Applied Psychological Measurement, 37, 419-437.
• Chen, J., de la Torre, J., & Zhang, Z. (2013). Relative and absolute fit evaluation in cognitive diagnosis modeling. Journal of Educational Measurement, 50, 123-140.
• Chiu, C. Y. (2013). Statistical refinement of the q-matrix in cognitive diagnosis. Applied Psychological Measurement, 37, 598-618.
• de la Torre, J. (2008). An empirically based method of Q-matrix validation for the DINA model: Development and applications. Journal of Educational Measurement, 45, 343-362.
• de la Torre, J. (2009). DINA model and parameter estimation: A didactic. Journal of Educational and Behavioral Statistics, 34, 115-130.
• de la Torre, J. (2011). The generalized DINA model framework. Psychometrika, 76, 179-199.
• de la Torre, J., & Chiu, C. Y. (2016). General method of empirical Q-matrix validation. Psychometrika, 81, 253-273.
• de la Torre, J., & Douglas, J. A. (2008). Model evaluation and multiple strategies in cognitive diagnosis: An analysis of fraction subtraction data. Psychometrika, 73, 595.
• de la Torre, J., & Lee, Y. S. (2013). Evaluating the Wald test for item-level comparison of saturated and reduced models in cognitive diagnosis. Journal of Educational Measurement, 50, 355-373.
• de la Torre, J., & Ma, W. (2016, August). Cognitive diagnosis modeling: A general framework approach and its implementation in R. A Short Course at the Fourth Conference on Statistical Methods in Psychometrics, Columbia University, New York, NY.
• DiBello, L. V., & Stout, W. (2007). Guest editors' introduction and overview: IRT-based cognitive diagnostic models and related methods. Journal of Educational Measurement, 44, 285-291.
• Hartz, S. M. (2002). A Bayesian framework for the unified model for assessing cognitive abilities: Blending theory with practicality (Unpublished doctoral dissertation).
• Henson, R. A., Templin, J. L., & Willse, J. T. (2009). Defining a family of cognitive diagnosis models using log-linear models with latent variables. Psychometrika, 74, 191-210.
• Hou, L., de la Torre, J. D., & Nandakumar, R. (2014). Differential item functioning assessment in cognitive diagnostic modeling: Application of the Wald test to investigate DIF in the DINA model. Journal of Educational Measurement, 51, 98-125.
• Junker, B. W., & Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory. Applied Psychological Measurement, 25, 258-272.
• Leighton, J. P., & Gierl, M. J. (2007). Defining and evaluating models of cognition used in educational measurement to make inferences about examinees' thinking processes. Educational Measurement: Issues and Practice, 26(2), 3-16.
• Leighton, J. P., Gierl, M. J., & Hunka, S. M. (2004). The attribute hierarchy method for cognitive assessment: A variation on Tatsuoka's rule-space approach. Journal of Educational Measurement, 41, 205-237.
• Ma, W. (2018). A diagnostic tree model for polytomous responses with multiple strategies. British Journal of Mathematical and Statistical Psychology. https://doi.org/10.111/bmsp.12137
• Ma, W., & de la Torre, J. (2016). A sequential cognitive diagnosis model for polytomous responses. British Journal of Mathematical and Statistical Psychology, 69, 253-275.
• Ma, W., & de la Torre, J. (2018). GDINA: The generalized DINA model framework, R package version 2.1.15. Retrived from https://CRAN.R-project.org/package=GDINA
• Ma, W., Iaconangelo, C., & de la Torre, J. (2016). Model similarity, model selection, and attribute classification. Applied Psychological Measurement, 40, 200-217.
• Ma, W., Terzi, R., Lee, S. Y., & de la Torre, J. (2017, April). Multiple group cognitive diagnosis models and their applications in detecting differential item functioning. The annual meeting of American Educational Research Association, San Antonio, TX.
• Maris, E. (1999). Estimating multiple classification latent class models. Psychometrika, 64, 187-212.
• Schwarz, G. (1978). Estimating the dimension of a model. The Annals of Statistics, 6, 461-464.
• Sinharay, S., & Almond, R. G. (2007). Assessing fit of cognitive diagnostic models a case study. Educational and Psychological Measurement, 67, 239-257.
• Tatsuoka, K. K. (1983). Rule space: An approach for dealing with misconceptions based on item response theory. Journal of Educational Measurement, 20, 345-354.
• Team, R. C. (2015). R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing.
• Templin, J. L., & Henson, R. A. (2006). Measurement of psychological disorders using cognitive diagnosis models. Psychological Methods, 11, 287.
• Tjoe, H., & de la Torre, J. (2014). The identification and validation process of proportional reasoning attributes: an application of a cognitive diagnosis modeling framework. Mathematics Education Research Journal, 26, 237-255.
•