Karar Ağaçları Tabanlı Hızlı Bir Bilgisayarda Bireyselleştirilmiş Test Yöntemi: Birleştirilmiş Ağaç Yaklaşımı

Abstract

Bu araştırmada, Birleştirilmiş Ağaç Temelli Bilgisayarda Bireyselleştirilmiş Test (Birleştirilmiş Ağaç BBT) yöntemi kullanılarak bireylerin yetenek düzeylerinin kestirimine etki eden değişkenler R programlama dili aracılığıyla incelenmiştir. Çalışmada, seviye başına maksimum dal sayısı, minimum benzerlik oranı, bireye uygulanacak maksimum madde sayısı ve madde havuzu büyüklüğünün, madde maruziyet oranına bağlı olarak Birleştirilmiş Ağaç BBT performansını nasıl etkilediği değerlendirilmiştir. Bilgisayarda Bireyselleştirilmiş Test (BBT) yöntemiyle elde edilen yetenek kestirimleriyle karşılaştırmalar yapılmıştır. Araştırma kapsamında, 919 birey tarafından yanıtlanan ve 256 maddeden oluşan gerçek bir veri seti kullanılmıştır. Her bir koşul için 25 tekrar alınarak ortalama değerler üzerinden analizler gerçekleştirilmiştir. Bulgular, madde havuzundaki madde sayısının artmasıyla birlikte Birleştirilmiş Ağaç BBT yönteminin daha düşük RMSE (Root Mean Square Error) değerleriyle daha doğru kestirimler sağladığını göstermiştir. Ayrıca, madde maruziyet oranı ile birlikte seviye başına maksimum dal sayısının ve minimum benzerlik oranının artmasının da kestirim doğruluğunu artırdığı görülmüştür. Bu sonuçlar, Birleştirilmiş Ağaç BBT yöntemi için özellikle seviye başına dal sayısı ve benzerlik oranı parametrelerinin performans üzerinde belirleyici olduğunu ortaya koymaktadır. Elde edilen bulgular, Birleştirilmiş Ağaç BBT’nin uygun birleştirme parametrelerinde BBT’ye kıyasla daha düşük hata değerleriyle yetenek kestiriminde avantaj sağladığını ortaya koymuştur.

Keywords

• Birleştirilmiş ağaç tabanlı bilgisayarda bireyselleştirilmiş test
• Maksimum düğüm sayısı
• Madde maruz kalma oranı
• Maksimum dal sayısı
• Birleştirme parametreleri.

An Individualized Testing Method on a Fast Computer Based on Decision Trees: The Merged Tree Method

Abstract

In this study, the variables affecting the prediction of individuals' ability levels using the Converged Tree Based Computerized Adaptive Testing (Marged Tree CAT) method were examined using the R programming language. The study evaluated how the maximum number of branches per level, the minimum similarity ratio, the maximum number of items to be administered to the individual, and the item pool size affect the performance of the Marged Tree CAT depending on the item exposure rate. Comparisons were made with the ability estimates obtained with the Computerized Adaptıve Testing (CAT) method. A real data set consisting of 256 items answered by 919 individuals was used in the study. For each condition, 25 repetitions were taken and analyzed on average values. The findings showed that with the increase in the number of items in the item pool, the Merge Tree CAT method provided more accurate predictions with lower RMSE (Root Mean Square Error) values. In addition, it was observed that increasing the maximum number of branches per level and minimum similarity ratio with the substance exposure rate also increased the prediction accuracy. These results reveal that especially the number of branches per level and similarity ratio parameters are decisive on the performance of the Merged Tree CAT method. The obtained results show that the Merge Tree CAT provides an advantage in capability estimation with lower error values compared to CAT with appropriate merging parameters.

Keywords

• Merged tree-based computerized adaptive tests
• Maximum number of nodes
• Item exposure rate
• Maximum number of branches
• Merge parameters.”

References

1. Alkan, D. (2025). Ağaç temelli ve birleştirilmiş ağaç temelli bilgisayarda bireyselleştirilmiş test yöntemlerinin parametrelerine dayalı karşılaştırmalı bir inceleme. Bogazici University Journal of Education, 42(2), 115-131. https://doi.org/10.52597/buje.1569703
2. Cha, S. H. (2007). Comprehensive survey on distance/similarity measures between probability density functions. International Journal of Mathematical Models and Methods in Applied Sciences, 1(4), 300–307.
3. Delgado-Gómez, D., Laria, J. C., and Ruiz-Hernández, D. (2019). Computerized adaptive test and decision trees: A unifying approach. Expert Systems with Applications, 117, 358–366. https://doi.org/10.1016/j.eswa.2018.09.052
4. Kaptan, S. (1998). Bilimsel araştırma ve istatistik teknikleri. Tekışık Web Ofset.
5. Lord, F. M. (1980). Applications of item response theory to practical testing problems. Routledge. https://doi.org/10.4324/9780203056615
6. Miller, I., and Miller, M. (2004). John E. Freund’s mathematical statistics with applications (7th ed.). Pearson Education.
7. R Core Team. (2025). R: A language and environment for statistical computing. R Foundation for Statistical Computing. https://www.r-project.org/
8. Revuelta, J., and Ponsoda, V. (1998). A comparison of item exposure control methods in computerized adaptive testing. Journal of Educational Measurement, 35(4), 311–327. https://doi.org/10.1111/j.1745-3984.1998.tb00541.x

9. Rodríguez-Cuadrado, J., Delgado-Gómez, D., Laria, J. C., and Rodríguez-Cuadrado, S. (2020). Merged Tree-CAT: A fast method for building precise computerized adaptive tests based on decision trees. Expert Systems with Applications, 143, 113066. https://doi.org/10.1016/j.eswa.2019.113066
10. Rodríguez-Cuadrado, J., Laria, J. C., and Delgado-Gómez, D. (2021). cat.dt: An R package for fast construction of accurate Computerized Adaptive Tests using Decision Trees. The R Journal, 13(2), 123–134. https://doi.org/10.32614/RJ-2021-091
11. Stocking, M. L., and Swanson, L. (1993). A method for severely constrained item selection in adaptive testing. Applied Psychological Measurement, 17(3), 277–292. https://doi.org/10.1177/014662169301700308
12. Ueno, M., and Songmuang, P. (2010). Computerized adaptive testing based on decision tree. In 2010 10th IEEE International Conference on Advanced Learning Technologies (ICALT) (pp. 191–193). IEEE. https://doi.org/10.1109/ICALT.2010.58
13. van der Linden, W. J., and Glas, C. A. W. (Eds.). (2000). Computerized adaptive testing: Theory and practice. Kluwer Academic Publishers. https://doi.org/10.1007/0-306-47531-6
14. Wauters, K., Desmet, P., and Van den Noortgate, W. (2010). Adaptive item-based learning environments based on the item response theory: Possibilities and challenges. Journal of Computer Assisted Learning, 26(6), 549–562. https://doi.org/10.1111/j.1365-2729.2010.00368.x
15. Weiss, D. J., and Kingsbury, G. G. (1984). Application of computerized adaptive testing to educational problems. Journal of Educational Measurement, 21(4), 361–375. https://doi.org/10.1111/j.1745-3984.1984.tb01040.x
16. Yan, D., Lewis, C., and Stocking, M. L. (2004). Adaptive testing with regression trees in the presence of multidimensionality. Journal of Educational and Behavioral Statistics, 29(3), 293–316. https://doi.org/10.3102/10769986029003293
17. Zhou, X., and Reckase, M.D. (2014). Optimal item pool design for computerized adaptive tests with polytomous items using GPCM. Psychological Test and Assessment Modeling, 56(3), 255–274.