Effect of Routing Methods on the Performance of Multi-Stage Tests

In recent decades, thanks to the great advances and growing opportunities in the technology world, computer-based testing has become a popular alternative to the traditional fixed-item paper-pencil tests. Specifically, multi-stage tests (MST) which is a kind of CBT and an algorithm-based approach become a viable alternative to traditional fixed-item tests with important measurement advantages they provided. This study aimed to examine the effect of different routing rules and scoring methods under different ability distributions in MSTs. For this purpose, three different routing rule, three different ability estimation methods, and two different ability distributions were manipulated in a simulation design. Although there was no clear best method in the studied conditions, it was seen that the Kullback-Leibler was the most efficient routing method and worked best with the EAP scoring method in most of the conditions. Furthermore, EAP and BM provided higher measurement efficiency than the ML method. Recommendations for using those routing methods were provided and suggestions were made for further research.

Özellikle son yıllarda, teknoloji dünyasındaki gelişmeler ve artan olanaklarla birlikte, bilgisayara dayalı testlerin popülerliği artmış ve bu testler geleneksel kâğıt-kalem testlerin yerine uygulanabilir bir alternatif halini almıştır. Bilgisayara dayalı testlerin bir türü olan ve algoritmaya dayalı bir yaklaşım olan Çok Aşamalı Testler de sağladıkları önemli avantajlarla birlikte kağıt-kalem testlerinin önemli bir alternatifi haline gelmiştir. Bu çalışmanın amacı, Çok Aşamalı Testlerde yönlendirme yöntemlerinin test performansına etkisinin farklı koşullar altında incelenmesidir. Bu amaçla bir simülasyon çalışması tasarlanmış, üç farklı yönlendirme kuralı, üç farklı yetenek kestirim yöntemi ve iki farklı yetenek dağılımı manipüle edilmiştir. Analizler sonucunda hem normal hem de uniform dağılım için, birçok koşulda Kullback-Leibler'in en etkili yönlendirme yöntemi olduğu ve koşulların çoğunda EAP puanlama yöntemiyle en iyi şekilde çalıştığı görülmüştür. Ayrıca, EAP ve BM yetenek kestirim yöntemleri, ML yönteminden daha yüksek ölçüm hassasiyeti sağlamıştır. En düşük ölçüm hassasiyeti ise, tesadüfi yönlendirme yönteminde elde edilmiştir. Bu yönlendirme yöntemlerinin kullanımına ve ileriki araştırmalara yönelik bazı önerilerde bulunulmuştur.