Investigation of Measurement Accuracy and Test Effectiveness for a Two, Three, Four Category Computerized Classification Test

Abstract

In this study, multi category classification was performed by using R (R Core Team, 2013) programming language and simulating an individualised classification test on computer. Two category, unidimensional 500 items and 1000 person data were created in R programme. According to the number of classification categories, the average classification accuracy (ACA) and average test length (ATL) values for test effectiveness, correlation (r) between actual and predicted abilities for measurement accuracy, bias, root mean square error (RMSE), mean absolute error (MAE) values were determined with the average of 25 repetitions. In the study, 16 conditions were created with 2 ability estimation methods as Weighted likelihood estimation (WLE), Expected posterior distribution (EPD); 4 item selection methods based on Maximum fisher information (MFI), Kullback leibler information (KLB) ability based (EB) and Cut score based (KN), 2 classification criteria as Confidence interval (CI) and Sequential Probability Ratio Test (SPRT). In three and four category classification, the Maximum fisher information estimated ability based item selection method gave better results in terms of test length, classification accuracy with weighted likelihood ability estimation. Expected posterior distribution ability estimation with Kullback leibler cut score based item selection method made the most accurate classification with the least number of items in two category classification. Expected posterior distribution ability estimation showed the best performance for two category classification when crossed with the confidence interval classification criterion.

Keywords

• Computerised Classification Test
• Classification Criterion
• Test Efficiency
• Measurement Accuracy

İki, Üç, Dört Kategorili Bilgisayarda Bireyselleştirilmiş Sınıflama Testi İçin Ölçme Kesinliği ve Test Etkililiğinin İncelenmesi

Öz

Bu çalışmada R (R Core Team, 2013) programlama dili kullanılarak bilgisayarda bireyselleştirilmiş sınıflama testi simülasyonu ile çok kategorili sınıflama yapılmıştır. R programında iki kategorili, tek boyutlu 500 madde ve 1000 kişilik veri oluşturulmuştur. Sınıflama kategori sayısına göre test etkililiği için ortalama sınıflamanın doğruluğu (OSD) ve ortalama test uzunluğu (OTU), ölçmenin kesinliği için gerçek yetenekler ile kestirilen yetenekler arasındaki korelasyon (r), yanlılık, ortalama hatanın karekökü (RMSE), ortalama mutlak hata (OMH) değerleri 25 tekrarın ortalaması ile belirlenmiştir. Araştırmada Ağırlıklı olabilirlik kestirimi (AOK), Beklenen sonsal dağılım (BSD) olarak 2 yetenek kestirim yöntemi; Maksimum fisher bilgi (MFB), Kullback leibler bilgisi (KLB) Kestirilen yetenek (KY) ve Kesme noktası (KN) temelli 4 madde seçme yöntemi, Güven aralığı (GA) ve Ağırlıklı olabilirlik oran testi (AOOT) olarak 2 sınıflama kriteri ile 16 koşul oluşturulmuştur. Üç ve dört kategorili sınıflamada Maksimum fisher bilgi kestirilen yetenek temelli madde seçme yöntemi Ağırlıklı olabilirlik yetenek kestirimi ile test uzunluğu, sınıflamanın doğruluğu açısından daha iyi sonuçlar vermiştir. Beklenen sonsal dağılım yetenek kestirimi Kullback leibler kesme noktası temelli madde seçme yöntemi ile iki kategorili sınıflamada en az madde ile en doğru sınıflama yapmıştır. Beklenen sonsal dağılım yetenek kestirimi Güven aralığı sınıflama kriteriyle çaprazlandığı koşullarda iki kategorili sınıflama için en iyi performansı göstermiştir.

Anahtar Kelimeler

• Bilgisayarda Bireyselleştirilmiş Sınıflama Testi
• Sınıflama Kriteri
• Test Etkililiği
• Ölçme Kesinliği

Kaynakça

1. Demir, S. (2019). Bireyselleştirilmiş bilgisayarlı sınıflama testlerinde sınıflama doğruluğunun incelenmesi (Yayınlanmış Doktora Tezi). Hacettepe Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara. https://tez.yok.gov.tr/UlusalTezMerkezi/