The Effect of Test Design on Misrouting in Computerized Multistage Testing

Bireyselleştirilmiş Çok Aşamalı Testler (BÇAT), test katılımcısının yetenek düzeyine göre önceden birleştirilmiş panel üzerinde aşama ve modülleri tamamlayarak ilerlediği bireyselleştirilmiş bir test yaklaşımıdır. Test katılımcısı, her aşamada modüle verdiği yanıtlara göre ileriki aşamada bir modüle yönlendirilir. Katılımcının ilerleyen aşamalarda yetenek düzeyine en uygun modüle yönlendirilmesi beklenir. Eğer ki katılımcı yetenek düzeyine uygun modüle yönlendirilmiyorsa yanlış yönlendirmeden bahsedilebilir. Yanlış yönlendirmenin hem ölçme kesinliğini hem de katılımcının sınav psikolojisini etkilediği düşünülmektedir. Yanlış yönlendirmeden tamamıyla kurtulmak çok güç olsa da BÇAT tasarımının temel bileşenleri ile azaltılabileceği varsayılmaktadır. Bu çalışmanın amacı, farklı BÇAT tasarımlarına göre yanlış yönlendirme düzeylerinin belirlenmesi ve test tasarımında yapılacak değişimlerin yanlış yönlendirme düzeyine etkilerinin araştırılmasıdır. Yanlış yönlendirmeyi etkileyeceği düşünülen temel bileşenler olarak BÇAT test tasarımı [1-3, 1-2-3, 1-3-3], yönlendirme modülü tasarımı [Dar, Geniş], test uzunluğu [12, 24, 36] ve modül uzunluğu [U-K, O-O, K-U] değişimlenmiştir. Mevcut durumu ortaya koymayı hedefleyen bu çalışma, betimsel araştırma türünde olup simülasyon yöntemi ile gerçekleştirilmiştir. Araştırma sonuçları, BÇAT tasarım ve bileşenlerinin yanlış yönlendirmeyi azaltmada etkili olabileceğini göstermektedir. Üç aşamalı BÇAT tasarımları iki aşamalı BÇAT tasarımına göre daha düşük yanlış yönlendirme ve daha yüksek ölçme kesinliği sunmaktadır. Ayrıca, test uzunluğunun arttırılması, yönlendirme modülünün geniş yetenek aralığında tasarlanması yanlış yönlendirme oranını düşürmektedir. Ölçme kesinliği sonuçlarına göre yanlış yönlendirilenlerin ölçme kesinliğinin düşük olmasının yanında, yanlış yönlendirmenin genel olarak BÇAT’ta önemli bir sorun oluşturmadığı ifade edilebilir. Yanlış yönlendirilenlerin yetenek düzeylerinin bitişik modüllerin modül bilgi fonksiyonlarının kesişim noktalarında ve genellikle yetenek ölçeğinin ortalarında yoğunlaştığı sonucuna ulaşılmıştır.

Computerized Multistage Testing (MST) is an adaptive testing approach in which the test taker completes stages and modules on a pre-assembled panel according to his/her ability level. In MST, the test taker is routed to a module in the following stage based on his/her responses to the module in each stage. The test taker is expected to be routed to the module that fits his/her ability level best in the following stages. If the test taker is not routed to the module appropriate to his/her ability level, misrouting can be mentioned. Misrouting is thought to affect both measurement accuracy and the test taker's psychology. Although it is very difficult to completely eliminate misrouting, it is assumed that it can be reduced with the basic components of the MST design. The purpose of this study is to determine the level of misrouting according to different MST designs and to investigate the effects of changes in test design on the level of misrouting. The main components that are considered to affect misrouting are the MST test design [1-3, 1-2-3, 1-3-3], routing module design [Wide, Narrow], test length [12, 24, 36] and module length [L-S, M-M, S-L]. This study, which aims to reveal the current situation, is descriptive research and it was carried out by simulation method. The results of the study show that MST design and components can be effective in reducing misrouting. Three-stage MST designs offer lower misrouting and higher measurement accuracy than two-stage MST designs. Furthermore, increasing the test length and designing the routing module with a wide range of abilities reduce the misrouting rate. According to the measurement accuracy results, it can be stated that misrouting is not a significant problem in the MST in general, although the measurement accuracy of the misrouted test takers is low. It was concluded that the ability levels of the misrouted test takers were generally concentrated at the intersection points of the module information functions of the adjacent modules and generally in the middle of the ability scale.