GDINA R Paketi Kullanarak Bilişsel Tanı Modelleri Uygulaması

Abstract

Formatif değerlendirme için hazırlanmış olan ölçme araçları, amaçlı bir şekilde tasarlandığında, tanılayıcı bilgi toplamamıza imkân sağlarlar. Bu tür bilgilere dayanarak yapılan çıkarımlar eğitimcilerin telafi edici eylemler gerçekleştirmelerini sağlar. Son zamanlarda geliştirilen formatif değerlendirme yöntemleri öğrencilere ve öğretmenlere öğrencilerin hangi bilgi ve beceri parçacıklarına (bilişsel niteliklere) sahip oldukları ya da olmadıklarıyla ilgili ayrıntılı geri bildirim sağlayabilmektedir. Bu geribildirimlerin öğretimi ve öğrenmeyi optimize etmek amacıyla kullanılması beklenmektedir. Formatif ölçme ve değerlendirmelerin sonuçlarından tanısal bilgi edinebilmek için iyi tasarlanmış sınavların uygulanmasının yanı sıra çeşitli bilişsel tanı modellerinin kullanımına da ihtiyaç vardır. Ancak, bu modellerin alan yazına yeni kazandırılmış olması ve eğitimcilerin henüz yeterince aşina olmamaları nedeniyle, bilişsel tanı modellemelerinin (BTM) parametre kestirimlerinin ve diğer ilgili analizlerin uygulamaları yeterince yaygınlaşmamıştır.

Bu makalenin amacı BTM’ye aşina olmayan eğitimci ve araştırmacılara BTM’nin temel prensiplerini tanıtmak ve ücretsiz bir yazılım olan GDINA R paketi kullanılarak yapılabilecek çeşitli BTM uygulamalarını yeterince detaylı olarak göstermektir. BTM analizleri yapan bazı yazılım programlarının mevcut olmasına rağmen, alanla ilgili en kapsamlı paketlerden biri olan GDINA R paketinin kullanımının sağlayacağı avantajlar arasında şunlar sayılabilir: (1) Birçok bilişsel tanı modelinin kestiriminin R ile mümkün olması; (2) Diğer birçok yazılım programlarının tek tip modelin kestirimine imkan veriyor olması; (3) Diğer programların çoğunun ticari olması veya ancak yazarın kendisiyle irtibat kurularak temin edilebilir olması; ve (4) Sözdizimi (sintaks) hazırlamanın bazı programlarda oldukça zahmet verici olması.

Bu makalede öncelikle BTM analizinin girdi ve çıktıları da dahil olmak üzere BTM terminolojisi tartışılmakta, sonrasında GDINA model yapısı tanıtılmakta ve GDINA R paketi sunulmaktadır. Sonrasında ise nümerik bir örnek veri setinden yola çıkılarak, GDINA R paketi ve bu paketin sunduğu grafiksel kullanıcı ara yüzü (GUI: graphical user interface) kullanılarak yapılabilecek analiz türleri adım adım takip edilebilecek şekilde sunulmuştur. Ayrıca gerekli görülen noktalarda yapılan iş ve işlemlerin teorik bilgisine ve elde edilen sonuçların yorumlanmasına dair bilgiler verilmiştir. İlerleyen bölümlerde, GUI ile yapılamayan ancak GDINA paketinin sunduğu ve R kullanımına aşina olan kullanıcıların sözdizimi yazarak yapabilecekleri ilave analizlere ve paketin ek özelliklerine yer verilmiştir. Makalenin son bölümünde ise bazı hatırlatma ve tespitler yapılmıştır.

G-DINA modeli ve GDINA paketi

Genel ya da kısıtlanmış olarak birçok bilişsel tanı modelinin ayrımları öğrencinin maddeleri cevaplama sürecinde bilişsel niteliklerin (ölçülen bilgi ya da becerilerin) etkileşimlerine bağlı olarak yapılır. G-DINA gibi genel modellerde bütün ana etkiler ve etkileşim etkileri madde tepki fonksiyonuna katkıda bulunur. Bu tür genel modellerin parametrelerinde yapılacak kısıtlamalarla daha kısıtlı ya da daha sade modeller elde edilebilir. Bunun yanı sıra, genel modellerde birden farklı link fonksiyonlarının kullanımı da söz konusudur. Örneğin, G-DINA model identity, logit ve log linkleriyle farklı isimlerle sunulabilir, ancak farklı linklerle ortaya konulan genel modeller özdeş model-veri uyumuna sahiptirler.

GDINA paketi GUI aracılığıyla farklı linkler altında oluşturulabilecek olan GDINA, logit GDINA, log GDINA’nın yanı sıra, bu genel modellerde ortaya koyulacak kısıtlamalarla oluşturulabilen DINA, DINO, ACDM, LLM, ve RRUM modellerinin kestirimine imkan verir. Ayrıca, GUI aracılığıyla olmasa da, R kullanımına aşina olan ve sözdizimi yazabilen kullanıcılar GDINA R paketini kullanarak farklı stratejilerin kullanımı durumunu göz önünde bulunduran MS-DINA ve G-DINA’nın farklı uzantılarından oluşan modellerin (ör. sınıflama ve sıralama ölçekleriyle elde edilen veriler için sequential G-DINA ve kısmi puanlamalı nitelikleri için polytomous G-DINA) kestirimini yapabilirler.

GDINA'yı kullanarak, testi alanların nitelikleri kazanmış ya da kazanamamış olma durumlarıyla ilgili tanılayıcı bilgi; belirli bir niteliğin kazandırılma oranı; ve belirli bir profile sahip olan kişilerin oranı ile ilgili bilgiler elde edilebilir. Bunların dışında, temel CDM analizlerinin yanı sıra, madde ve nitelikler arasındaki etkileşimi en iyi açıklayan BTM’nin kullanılabilmesi adına GDINA paketi araştırmacıların test- ve madde-düzeyinde model seçimi yapabilmelerine imkan tanır. GDINA paketi aynı zamanda madde-nitelik eşleştirme matrisinde yapılabilecek muhtemel yanlışları ortaya çıkarmaya yardımcı olmak adına ampirik olarak Q-matrisin uygunluğunun doğrulamasını sağlayan metotların kullanılmasına imkan sağlar. Son olarak, bu paket, çeşitli kolay ve kullanışlı grafikler ortaya koyar. Bu grafikler elde edilen analiz sonuçlarında önemli noktaların vurgulanmasına ve elde edilen istatistik ve parametrelerin kolaylıkla karşılaştırılmasına olanak sağlar.

Keywords

• Bilişsel tanı modelleri,GDINA,R paketi,BTM uygulamaları.

Implementation of Cognitive Diagnosis Modeling using the GDINA R Package

Abstract

Purpose: Well-designed assessment methodologies and various cognitive diagnosis models (CDMs) to extract diagnostic information about examinees’ individual strengths and weaknesses have been developed. Due to this novelty, as well as educational specialists’ lack of familiarity with CDMs, their applications are not widespread. This article aims at presenting the fundamentals of CDM and demonstrating the various implementations using a freeware R package, namely, the GDINA. Present article explains the basics of CDM and provide sufficient details on the implementations so that it may guide novice researchers in CDM applications

Research Methods: The manuscript starts with presenting the CDM terminology, including input and output of a CDM analysis. The introduction section is followed by generalized deterministic noisy and gate model framework. A brief description of the package GDINA is also provided. Then, numerical examples on various CDM analyses are provided using the R package with a graphical user interface. The paper is concluded by some additional functions and concluding remarks.

Results and Implications for Research and Practice: Although other software programs are also available, using the GDINA package offers users some flexibilities such as allowing estimation of a wide range of CDMs and allowing nonprogrammers to benefit from this package through the GUI. In addition to ordinary CDM analyses, GDINA package further allows users to apply model selection at the test- and item-level to make sure that the most appropriate CDM (i.e., CDM that best explains the attribute interactions in the item) is fitted to the response data. Furthermore, to identify possible item-attribute specification mistakes in the Q-matrix, implementation of an empirical Q-matrix validation method is available in the GDINA package. Lastly, this package offers various handy graphs, which can be very useful in emphasizing important information and comparing various parameters and/or statistics.

Keywords

• CDM,cognitive diagnosis modeling,GDINA package,R implementation

References

1. Alderson, J. C. (2005). Diagnosing foreign language proficiency: The interface between learning and assessment. A&C Black.
2. Akaike, H. (1973). Information theory and an extension of the maximum likelihood principle. In B. N. Petrov & F. Csaki (Ed.), Proceedings of the Second International Symposium on Information Theory (pp. 267–281). Budapest, Hungary: Akad. Kiado.
3. Akbay, L., Terzi, R., Kaplan, M., & Karaaslan, K. G. (2017). Expert-based attribute identification and validation on fraction subtraction: A cognitively diagnostic assessment application. Journal on Mathematics Education, 8, 103-120.
4. Chen, J. & de la Torre, J. (2013). A general cognitive diagnosis model for expert-defined polytomous attributes. Applied Psychological Measurement, 37, 419-437.
5. Chen, J., de la Torre, J., & Zhang, Z. (2013). Relative and absolute fit evaluation in cognitive diagnosis modeling. Journal of Educational Measurement, 50, 123-140.
6. Chiu, C. Y. (2013). Statistical refinement of the q-matrix in cognitive diagnosis. Applied Psychological Measurement, 37, 598-618.
7. de la Torre, J. (2008). An empirically based method of Q-matrix validation for the DINA model: Development and applications. Journal of Educational Measurement, 45, 343-362.
8. de la Torre, J. (2009). DINA model and parameter estimation: A didactic. Journal of Educational and Behavioral Statistics, 34, 115-130.

9. de la Torre, J. (2011). The generalized DINA model framework. Psychometrika, 76, 179-199.
10. de la Torre, J., & Chiu, C. Y. (2016). General method of empirical Q-matrix validation. Psychometrika, 81, 253-273.
11. de la Torre, J., & Douglas, J. A. (2008). Model evaluation and multiple strategies in cognitive diagnosis: An analysis of fraction subtraction data. Psychometrika, 73, 595.
12. de la Torre, J., & Lee, Y. S. (2013). Evaluating the Wald test for item-level comparison of saturated and reduced models in cognitive diagnosis. Journal of Educational Measurement, 50, 355-373.
13. de la Torre, J., & Ma, W. (2016, August). Cognitive diagnosis modeling: A general framework approach and its implementation in R. A Short Course at the Fourth Conference on Statistical Methods in Psychometrics, Columbia University, New York, NY.
14. DiBello, L. V., & Stout, W. (2007). Guest editors' introduction and overview: IRT-based cognitive diagnostic models and related methods. Journal of Educational Measurement, 44, 285-291.
15. Hartz, S. M. (2002). A Bayesian framework for the unified model for assessing cognitive abilities: Blending theory with practicality (Unpublished doctoral dissertation).
16. Henson, R. A., Templin, J. L., & Willse, J. T. (2009). Defining a family of cognitive diagnosis models using log-linear models with latent variables. Psychometrika, 74, 191-210.
17. Hou, L., de la Torre, J. D., & Nandakumar, R. (2014). Differential item functioning assessment in cognitive diagnostic modeling: Application of the Wald test to investigate DIF in the DINA model. Journal of Educational Measurement, 51, 98-125.
18. Junker, B. W., & Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory. Applied Psychological Measurement, 25, 258-272.
19. Leighton, J. P., & Gierl, M. J. (2007). Defining and evaluating models of cognition used in educational measurement to make inferences about examinees' thinking processes. Educational Measurement: Issues and Practice, 26(2), 3-16.
20. Leighton, J. P., Gierl, M. J., & Hunka, S. M. (2004). The attribute hierarchy method for cognitive assessment: A variation on Tatsuoka's rule-space approach. Journal of Educational Measurement, 41, 205-237.
21. Ma, W. (2018). A diagnostic tree model for polytomous responses with multiple strategies. British Journal of Mathematical and Statistical Psychology. https://doi.org/10.111/bmsp.12137
22. Ma, W., & de la Torre, J. (2016). A sequential cognitive diagnosis model for polytomous responses. British Journal of Mathematical and Statistical Psychology, 69, 253-275.
23. Ma, W., & de la Torre, J. (2018). GDINA: The generalized DINA model framework, R package version 2.1.15. Retrived from https://CRAN.R-project.org/package=GDINA
24. Ma, W., Iaconangelo, C., & de la Torre, J. (2016). Model similarity, model selection, and attribute classification. Applied Psychological Measurement, 40, 200-217.
25. Ma, W., Terzi, R., Lee, S. Y., & de la Torre, J. (2017, April). Multiple group cognitive diagnosis models and their applications in detecting differential item functioning. The annual meeting of American Educational Research Association, San Antonio, TX.
26. Maris, E. (1999). Estimating multiple classification latent class models. Psychometrika, 64, 187-212.
27. Schwarz, G. (1978). Estimating the dimension of a model. The Annals of Statistics, 6, 461-464.
28. Sinharay, S., & Almond, R. G. (2007). Assessing fit of cognitive diagnostic models a case study. Educational and Psychological Measurement, 67, 239-257.
29. Tatsuoka, K. K. (1983). Rule space: An approach for dealing with misconceptions based on item response theory. Journal of Educational Measurement, 20, 345-354.
30. Team, R. C. (2015). R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing.
31. Templin, J. L., & Henson, R. A. (2006). Measurement of psychological disorders using cognitive diagnosis models. Psychological Methods, 11, 287.
32. Tjoe, H., & de la Torre, J. (2014). The identification and validation process of proportional reasoning attributes: an application of a cognitive diagnosis modeling framework. Mathematics Education Research Journal, 26, 237-255.
33.