Problem Durumu: Son yıllardaki teknolojik gelişmelerin ölçme ve değerlendirme alanına katkılarıyla birlikte geleneksel anlamda kağıt kalem testleri artık eski popülerliğini yitirmeye başlamıştır. Gelişen bilgisayar teknolojisi, hem ölçme işleminin süresinin kısalmasını hem de daha geçerli ve güvenilir testlerin işekoşulmasını mümkün hale getirmiştir. Özellikle bireyin yetenek düzeyine uygun sınav sorularıyla karşılaşması zaman ve kullanılan süre açısından önemli bir tasarruf sağlamaktadır. Bu, ancak bilgisayar ortamında bireye uyarlanmış test (BOBUT) uygulaması ile mümkün olabilmektedir. BOBUT uygulaması, başlatma kuralı, madde seçim yöntemi, yetenek kestirimi, içerik dengeleme ve test sonlandırma gibi önemli süreçlerden oluşmaktadır. Bu süreçlerin belki de en önemlisi madde seçim yöntemidir. Bu çalışmada BOBUT uygulamasının en önemli aşamalarından olan madde seçim yöntemleri ele alınmıştır. Alanyazındaki madde seçimine yönelik çalışmalar incelendiğinde madde seçim yöntemlerinin içerik dengeleme (content balancing) kullanıldığında farklı yetenek düzeylerindeki bireylerin örtük puanları üzerinde nasıl bir etki gösterdiğinin halihazırda henüz incelenmediği görülmüştür.
Araştırmanın Amacı: Bu araştırmanın amacı BOBUT uygulamalarında içerik dengeleme kullanıldığında madde seçim yöntemindeki değişikliğin yetenek kestirimine etkisini yaygın olarak kullanılan Fisher’ın en yüksek bilgi (Fisher’s maximum information) ve onun önemli bir alternatifi olduğu daha önceki
Alper SAHIN –Durmus OZBASI / Eurasian Journal of Educational Research 69 (2017) 21-36 35
araştırmalarda tespit edilen ağırlıklandırılmış bilgi oranı (Likelihood weighted information) yöntemlerini kullanmak suretiyle belirlemek ve içerik dengeleme üzerine sonraki dönemlerde yapılacak çalışmalara ışık tutmaktır.
Araştırmanın Yöntemi: Araştırmada kullanılan veriler Monte-Carlo simülasyon yöntemi ile elde edilmiştir. Bu bağlamda, araştırmanın verileri için yetenek düzeyleri -3 ile +3 arasında normal dağılım gösteren 4 farklı büyüklükte 250, 500, 750 ve 1000 birey grupları oluşturulmuştur. Yetenek kestirimlerinde en yüksek olabilirlik kestirim (Maximum likelihood estimation) yöntemi kullanılmıştır. Benzetim ile oluşturulan bireyler bu aşamada elde edilen gerçek yetenek düzeylerine göre altı alt yetenek grubuna ayrılmıştır (Örn. -3 < θ < -2 = grup 1, -2 < θ < -1 = grup 2, … vb.).
Madde havuzu için her birine yönelik 50’şer madde bulunan 10 farklı konu alanında toplam 500 madde benzetim yöntemiyle üretilmiştir. Madde parametreleri a parametresi için 0 ile 1.5, b için -3 ile +3 ve c için ise 0 ile 0.25 arasında sabit (uniform) dağılım gösterecek şekilde üretilmiştir. Birey ve maddelerin elde edilmesi sonrası bir dizi Post-hoc benzetim çalışması gerçekleştirilmiştir. Bu çalışmalar, birey yetenek başlangıç düzeyi -0.5 ile +0.5 aralığında olacak, en kısa test uzunluğu her bir konu alanından %10 oranında madde içerecek şekilde en az 10 madde kullanılacak ve yetenek düzeyi kestirimi standart hata değeri 0.25’ten küçük olduğunda testi sonlandıracak şekilde ayarlanmıştır. Post-hoc benzetimler 10 kez tekrarlanmıştır.
Araştırmanın Bulguları: Farklı madde seçme yöntemleri kullanıldığında, gerçek ve kestirilen yetenek düzeyleri arasındaki korelasyonlar (r) 4 farklı büyüklükteki grup ve bu grupların her birinde 6 farklı yetenek aralığındaki bireyler için ayrı ayrı incelenmiştir. Buna göre 250 kişilik grup için Fisher’ın en yüksek bilgi yöntemi kullanıldığında, gerçek ve kestirilen yetenek düzeyleri arasında en yüksek korelasyon r=0.94 olarak bulunmuştur. En düşük korelasyon (r=0.26) ise madde seçme kuralı olarak ağırlıklandırılmış bilgi fonksiyonu kullanıldığında elde edilmiştir. Sınavı alan kişi sayısı 500’e çıktığında ise en yüksek korelasyon madde seçme kuralı olarak ağırlıklandırılmış bilgi oranı kullanıldığında elde edilmiştir (r=0.75). Kişi sayısı 750’ye çıktığında en yüksek korelasyon katsayıları her iki yöntem için de çok yakın bulunmuştur (rfisher=0.75; rağırlıklandırılmış=0.76). Benzer bir durum, örneklem sayısı 1000’e çıktığında da geçerli olmuş ve benzer en yüksek korelasyonlar elde edilmiştir (rfisher=0.74; rağırlıklandırılmış=0.75).
Farklı birey gruplarında her alt yetenek düzeyi için iki madde seçme kuralı ayrı ayrı uygulandığında elde edilen tahmini yetenek düzeyleri ile bireylerin gerçek yetenek düzeyleri arasındaki ortalama karesel hata (MSE; Mean Squared Error) değerleri karşılaştırılmıştır. Buna göre, en düşük MSE değeri 250 kişilik grupta ağırlıklandırılmış bilgi oranı yöntemi kullanıldığında 1. alt yetenek grubunda elde edilmiştir (MSE=0.10). Yine aynı madde seçme kuralında alt yetenek grubu 6’da ise MSE=1.11 ile diğer yetenek gruplarına göre daha yüksek bir değer almıştır. Birey sayısı 500’e çıktığında, ağırlıklandırılmış bilgi oranı yöntemi kullanıldığında alt yetenek grubu 1 MSE=0.12 ile en düşük değer almıştır. En yüksek MSE ise alt grup 6’da MSE=1.22 olarak hesaplanmıştır. Birey sayısı 750’ye çıktığında ise ağırlıklandırılmış bilgi yöntemi kullanıldığında MSE değeri en düşük alt yetenek
Alper SAHIN –Durmus OZBASI / Eurasian Journal of Educational Research 69 (2017) 21-36 36
grubu 1’de (MSE=0.11) elde edilmiştir. En yüksek MSE (1.35) ise yine alt grup 6’da elde edilmiştir. Birey sayısı 1000’e çıktığında da benzer sonuçlar elde edilmiştir. En düşük MSE değeri grup 1’de, en yüksek MSE değeri ise yine grup 6’dan elde edilmiştir.
Her iki madde seçme yönteminin kestirim kalitesi kullanılan ortalama madde sayıları açısından da karşılaştırılmıştır. 250 kişinin sınavı aldığı durumda, en fazla sayıda madde, madde seçme kuralı olarak ağırlıklandırılmış bilgi oranı yöntemi kullanıldığında alt yetenek grubu 6’da ortaya çıkmıştır (kullanılan madde sayısı 41.77). En düşük ortalama madde sayısı (31.03) ise alt yetenek grubu 1’den elde edilmiştir. Sınavı alan birey sayısı 500’e çıktığında ise, en yüksek ortalama madde sayısı madde seçme kuralı olarak ağırlıklandırılmış bilgi yöntemi kullanıldığında grup 6’da elde edilirken, en düşük madde sayısı Fisher’ın en yüksek bilgi yöntemi kullanıldığında 5. alt yetenek grubundan elde edilmiştir (22.78). Bu durum sınavı alan birey sayısı 750 ve 1000 olduğunda da değişmemiş, en yüksek ve en düşük ortalama madde uygulanan yetenek aralıkları ve bunlara ait madde seçme kuralları değişmemiştir. Bir başka ifade ile sınavı alan birey grubu 750 ve 1000 olduğunda en yüksek madde kullanımı her iki birey grubunda da madde seçme kuralı olarak ağırlıklandırılmış bilgi oranı yöntemi kullanıldığında grup 6’da sırasıyla ortalama 45.81 ve 44.1 şeklinde elde edilmiştir. En düşük ortalama madde kullanımı ise madde seçme kuralı olarak Fisher’ın en yüksek bilgi yöntemi kullanıldığında grup 5’te sırasıyla 22.71 ve 22.65 şeklinde elde edilmiştir.
Araştırmanın Sonuçları ve Önerileri: Çalışmada elde edilen tüm bulgular göz önüne alındığında, içerik dengeleme kullanıldığında, ağırlıklandırılmış bilgi oranı yönteminin literatürde geçtiği şekliyle Fisher’ın en yüksek bilgi yöntemine aslında tamamen üstünlük sağlamadığı, bu üstünlüğün yetenek değeri -3 ile 0 aralığında olan bireyler için geçerliği olduğu, yetenek düzeyi 0’ın üzerine çıktığı durumlarda ise Fisher’ın en yüksek bilgi yönteminin yetenek kestiriminde daha başarılı olduğu sonucuna varılmıştır. Bu durum 0’dan küçük yetenek düzeylerinde ağırlıklandırılmış bilgi oranı yönteminin, 0’dan büyük yetenek düzeylerinde Fisher’ın en yüksek bilgi yönteminin kullanılmasını sağlayacak bir madde seçme algoritmasının her iki yöntemin de eksiklerini giderebileceğinden hareketle her durumda BOBUT uygulamalarında daha başarılı yetenek düzeyi kestirimleri elde edilmesini sağlayacak böyle bir algoritmanın geliştirilmesi önerilmektedir.
