Purpose: This research investigates Tests that
include DIF items and which are purified from DIF items. While doing this, the
ability estimations and purified DIF items are compared to understand whether
there is a correlation between the estimations.
Method:
The researcher used to R 3.4.1 in order to compare the items and after this
situation; according to manipulated factors, we carried out the data production
under different circumstances with the help of simulation study. The
manipulated factors were determined levels of sample size (1000, 2000), test length
(40, 60) and percentage of DIF (%5, %10). By using the new data each
condition’s DIF items’ ability estimations were carried out. Afterward, DIF
items purified from the tests and later the abilities were estimated. The
correlation between the ability parameters was calculated by using the
Spearman's Rank Correlation Coefficient and these parameters were calculated
separately according to the eight conditions.
Findings: After calculations, all of the
coefficients of correlations (rs)’ values were almost zero (p<0.01). In
other words the test length 40 and 60, sample size 1000 and 2000, percentage of
DIF %5 and %10, when we crossed these parameters in different eight conditions,
there was no familiar correlation between the tests that include DIF items and
tests of that purified from DIF items. Besides, there was no correlation
between the tests thinking the ability estimations; if we exclude DIF items
from the tests, the individuals’ test ranking changes, too.
Implication for Research and Practice: This
study showed that tests that include DIF items affect the ability estimation of
individuals. In the frame of this result, teachers, administrators, and
policymakers should bear in mind tests DIF potential. Also, this study may be carried
out by using various conditions.
Problem Durumu: Bir
ölçme aracında bulunması gereken yapısal niteliklerden en önemlisi olarak kabul
edilen geçerlik, klasik anlamıyla bir ölçme aracının ölçmek istediği özelliği
başka özelliklerle karıştırmadan ölçebilmesi olarak açıklanabilir. Ancak bir testten
elde edilen puanların test ile ölçülmek istenen özellik dışında farklı
değişkenlerden de etkilenmesi her ne kadar istenmeyen bir durum da olsa
pratikte bu durum kaçınılmazdır. Testi alan bireylerin bulunduğu alt grupların
da bu değişkenlerden ne derece etkilendiği önemlidir. Değişkenlerin alt
grupları farklı biçimlerde etkilemesi ise madde yanlılığına sebep olabilmektedir. Yanlılığının ilk
koşulu olan Değişen Madde Fonksiyonunun (DMF’nin) bir maddede bulunması o
maddenin, maddeyi yanıtlayan farklı alt gruplardan herhangi birine ya da
birkaçına avantaj sağlamasına neden olmaktadır. Bir testin madde ya da
maddelerinde DMF’nin bulunabilme ihtimali özellikle sonuçlarına bakarak
bireyler hakkında çeşitli kararların alındığı geniş ölçekli sınavlar için ayrıca
dikkat edilmesini zorunlu hâle getirmiştir. Öyle ki eğitimin birçok alanında,
sıralama ya da seçme amaçlı uygulanan sınavlarda alınan kararlar bireyler için
hayati olabilmekte ve bu sınavların niteliği alınan kararların doğruluğuna,
isabetli ve yerinde olmasına direkt olarak etki etmektedir. Peki bahsi geçen yanlı maddelerin
testten arındırılması bireyler hakkında verilen hayati kararları değiştirmekte
midir? Yanlılık üzerine yapılan birçok çalışmada, SBS, TEOG, ÖSS, PISA, ALES,
KPSS gibi geniş ölçekli sınavlarda DMF içeren maddeler tespit edilmiştir Ancak
geniş ölçekli bu sınavlarda DMF içeren maddelerin testten çıkarılmasının
sonuçlar üzerinde nasıl bir etki oluşturduğuna dair; başka bir ifadeyle DMF’li
maddelerin testten çıkarılmasıyla yeniden belirlenen sonuçlara göre bireylerin
sınavdaki başarı sıralamalarının etkilenip etkilenmediğine dair çalışmalar
sınırlı sayıdadır.
Araştırmanın
Amacı: Bireyler
hakkında hayati kararların alındığı sınavlarda belirli bir gruba avantaj
sağlayan maddelerin testte bulunmasının bireyler arasında eşitsizliğe ve
adaletsizliğe neden olabileceği düşünülmektedir. Bu nedenle bu maddelerin
testten arındırılması gerekli olabilmektedir. Bu düşünceyle gerçekleştirilen
araştırmanın amacı bir testin DMF’li madde içeren ve DMF’li maddeden
arındırılmış formlarından kestirilen yetenek kestirimlerinin farklı madde
sayısı, farklı örneklem büyüklüğü ve farklı DMF oranı koşulları altında
karşılaştırmaktır.
Araştırmanın
Yöntemi: Araştırma
kapsamında araştırmacı tarafından R 3.4.1 paket programı kullanılarak manipüle
edilen değişkenlere göre farklı koşullar altında simülasyon çalışmasıyla veri
üretimi gerçekleştirilmiştir. Manipüle edilen değişkenler düzeylerine göre
örneklem büyüklüğü (n=1000 ve n=2000), madde sayısı (k=40 ve k=60) ve DMF oranı
(d=%5 ve d=%10) olarak belirlenmiştir. Değişkenlerin çaprazlanması sonucunda
sekiz koşulun her birine uygun olacak şekilde DMF’li madde içeren veriler
üretilmiştir. Çeşitli düzeylerde DMF’li maddeler içerecek şekilde verilerinin
üretildiği bir testin öncelikle DMF’li maddeler içeriyorken yetenek
kestirimleri gerçekleştirilmiştir. Testin DMF’li maddeler içeren hâliyle
kestirilen yetenek kestirimlerine θ1 ismi verilerek veriler saklı
tutulmuştur. Ardından bu
testte yer alan DMF’li maddeler testten arındırılarak aynı şekilde yetenekler
kestirilmiştir. Testin DMF’li maddeler
içermeyen hâliyle kestirilen yetenek kestirimleri ise θ2 şeklinde
saklanmıştır. Son olarak da aynı testin θ1 ve θ2 adıyla
elde edilmiş olan bu kestirimleri arasındaki ilişkiye bakılmıştır. Bu yetenek
kestirimleri ilişkisine göre bireylerin sıralamalarının farklılaşıp
farklılaşmadığını tespit etmek amaçlandığı için spearman sıra farkları
korelasyon analizi uygulanmıştır.
Araştırmanın
Bulguları: Yöntem
bölümünde özetlenen bir testin DMF’li madde içeren ve DMF’li maddeden
arındırılmış formlarından kestirilen yetenek kestirimlerini (θ1 ve
θ2) arasındaki ilişki düzeyine bakmak için gerçekleştirilen spearman sıra farkları korelasyon
analizi sonucunda elde edilen katsayıların 0’a yakın olmasından dolayı yetenek
kestirimleri arasında pozitif ya da negatif yönlü bir ilişki görülmemiştir.
Yetenek kestirimleri arasında ilişki görülmemesi ise bireylerin test
sonuçlarındaki sıralamalarının değiştiğini işaret etmektedir. Başka bir
ifadeyle test DMF’li maddeden arındırıldıktan sonra bireylerin testteki
sıralamaları, bir önceki DMF’li madde içeren test formu sıralamalarına göre
farklılaşmıştır. Bu tespit, çeşitli koşulların araştırıldığı tüm alt
problemlerde benzer şekilde olmuştur. Başka bir ifadeyle madde sayısının 40 ve
60, örneklem büyüklüğünün 1000 ve 2000, DMF oranın %5 ve %10 olarak
çaprazlandığı 8 farklı koşulda da testin DMF’li maddeden arındırılmasının
bireylerin sıralamalarını değiştirdiğini belirlenmiştir.
Araştırmanın
Sonuçları ve Öneriler: Bu
çalışma ile bir testin DMF’li madde içeren ve DMF’li maddeden arındırılmış
formlarından kestirilen yetenek kestirimleri arasında ilişki bulunmadığı, başka
bir ifadeyle DMF’li maddelerin testten çıkarılmasıyla bireylerin başarı
sıralamalarının değiştiği sonucuna ulaşılmıştır. Bir testin DMF’li maddelerden
arındırılmasıyla testi alan bireylerin sıralamalarının farklılaşması o testin
geçerliğini yani özelliğe sahip olanla olmayanı ayırt etme derecesini problemli
hâle getirebilecektir. Öyle ki testte DMF’li madde bulunması testin geçerliğine
önemli bir tehdit oluştururken bu maddelerin testten çıkarılmasıyla bireylerin
sıralamaları değişiyorsa, yapılan arındırma işleminin önemli bir etkisinin
olduğu görülmektedir. Bu durum, gerek ulusal gerekse de uluslar arası düzeyde
bireyler hakkında hayati kararların alındığı, sonuçlarına bakılarak seçme ve
yerleştirme işlemlerinin gerçekleştirildiği sınavların bireyler arasındaki
farklılıkları ölçme derecelerinin sorgulanabilir olduğunu gösterebilmektedir.
Primary Language | English |
---|---|
Journal Section | Articles |
Authors | |
Publication Date | October 31, 2019 |
Published in Issue | Year 2019 Volume: 19 Issue: 83 |