Madde Parametreleri ve Yetenek Düzeylerine göre Omega İndeksinin Performansının İncelenmesi

Abstract

Problem Durumu: Çoktan seçmeli maddeler sağlamış olduğu birtakım avantajlardan dolayı geniş ölçekli sınavlarda sıkça kullanılmaktadır. Bütün sınavlarda olduğu gibi çoktan seçmeli maddelerden oluşan testlerin de geçerlik ve güvenirliği bireyler hakkında karar vermede oldukça önemli bir role sahiptir. Sınav süreçlerinde bireylerin çeşitli şekillerde kopya çekme davranışı gösterme eğiliminde olduğu bilinmektedir. 21. yüzyılda teknoloji giderek ivmelenen bir şekilde gelişim göstermiştir. Teknolojide meydana gelen bu gelişmelerin bireylerin yaratıcılığı ile birleşmesi ve bireyler arasındaki rekabetin artması sonucu çok çeşitli kopya çekme türleri ortaya çıkmıştır. Testin uygulanması öncesinde, test uygulaması sürecinde ve sonrasında oluşabilecek hile karıştırma girişimlerini engellemek ağırlıklı olarak test güvenliğini ilgilendiren süreçlerdir. İstenmeyen bir durum oluşmaması adına test güvenliği üzerinde hassasiyetle durulmalıdır. Eğer gerekli hassasiyet gösterilmezse, doğacak sonuçların maliyeti ağır olabilmektedir. Bu hassasiyete rağmen bir kopya durumu oluştuğu takdirde, kopyayı tespit edebilmek için alternatif yol arayışlarına girilmiştir ve birçok kopya belirleme yöntemi geliştirilmiştir. Bu yöntemlerin en çok itibar edilenleri istatistiksel yöntemlerdir. İstatistiksel yöntemlerin performansına yönelik yapılan araştırmalarda ise madde tepki kuramına dayalı olan ω indeksinin kopya belirlemede öne çıktığı görülmüştür. Alanyazında ω indeksinin hangi koşullar altında çalıştığını incelemek üzere çeşitli araştırmalar bulunmaktadır. Aynı zamanda I. Tip hata oranı ve gücü bu koşullar altında diğer indekslerle karşılaştırılmıştır. Bunlardan çoğu çeşitli örneklem büyüklüğü, test maddesi ve kopya oranı ile bireylerin yetenek düzeyleri çaprazlanarak ω indeksinin performansı ortaya konmaya çalışılmıştır.

Araştırmanın Amacı: Bu çalışmanın amacı alanyazında henüz ortaya konmayan ω indeksinin madde güçlük, madde ayırt edicilik ve yetenek sınırlandırmaları altındaki performansını incelemektir.

Onder SUNBUL - Seha YORMAZ/ Eurasian Journal of Educational Research 74 (2018) 207-226 225

Araştırmanın Yöntemi: Çalışmada beş seçenekli çoktan seçmeli 80 maddeden oluşan veri seti GEN3PL_Raw DATA_V2 yardımıyla elde edilmiştir. Veri standart normal yetenek dağılımına N(0~1) sahip 10000 birey için üretilmiştir. Ölçekleme sabiti olan D ise 1.00 olarak alınmıştır. a ve b madde parametreleri iki kategoriye ayrılarak incelenmiştir. a parametresinde düşük ayırt edici maddeler için (0.10 – 0.80) aralıkları, yüksek ayırt edici maddeler için (0.81 – 1.50) aralıkları ele alınmıştır. b parametresinde kolay maddeler için (-2.50 – 0.00) aralıkları, zor maddeler için (0.01 – 2.50) aralıkları ele alınmıştır. Parametre aralıkları çaprazlanarak dört hücreli tablo elde edilmiş ve böylece dört farklı madde grubu ortaya çıkmıştır. Her bir madde grubu için 20 maddelik veri üreterek toplamda 4x20=80 maddelik veri seti elde edilmiştir. 1. Madde Grubu kolay ve düşük ayırt edici maddelerden, 2. Madde Grubu zor ve düşük ayırt edici maddelerden, 3. Madde Grubu kolay ve yüksek ayırt edici maddelerden ve 4. Madde Grubu zor ve yüksek ayırt edici maddelerden oluşmaktadır.

Kaynak ve kopyacı bireyin yeteneğinin, ω indeksinin performansı üzerine etkisini incelemek için (-3.00 – -1.50, -1.50 – 0.00, 0.00 – 1.50, 1.50 – 3.00) olmak üzere dört kategoriye ayrılmıştır. Kopyacı ve kaynak çifti için yapılan çaprazlamalar sonucu oluşan 16 hücre için kopya durumu oluşturup her bir veri için indeksin gücü incelenmiştir. I. Tip hata için ise kopya durumu oluşturulmadan inceleme yapılmıştır. İşlemler için 100 replikasyon yapılmıştır. Her replikasyondan elde edilen sonuçlar kullanılarak belirlenen α düzeylerine (0.001, 0.01 ve 0.05) göre indeksin I. Tip hata oranları ve kopya belirleme güçleri hesaplanmıştır. I. Tip hata çalışmasında 16 farklı koşulla 100 replikasyon sonucunda 16x1000= 16000 kopya çekmeyen birey çifti için ω indeksine ait çıktılar elde edilmiştir. Güç çalışmasında ise sabit kopya oranı (%25) ile 2x2x16x1x100=6400 birey çifti için çıktılar elde edilmiştir. Madde parametrelerinin üretimi, ω indeksinin hesaplanması ve veri ve çıktıların elde edilmesinde R programlama dili kullanılmıştır.

Araştırmanın Bulguları: I. Tip hata çalışmasında elde edilen bulgulara göre ω indeksinin I. Tip hata oranı ilgili alfa düzeyine genellikle yakın ya da altında değerler almıştır. Bu değerler 0.11 ile 0.00 arasında değişmektedir. I. Tip hata oranının 0.11 olduğu durumlar, -1.50 – 0.00 yetenek aralığında yer alan kopyacının 0.00 altındaki yetenek düzeyine sahip kaynaktan çektiği kopya durumlarında gözlenmiştir.

Güç çalışması sonucunda kolay ve düşük ayırt edici maddelerden oluşan 1. madde grubundan elde edilen bulgulara göre indeksin gücü 1.00 ve 0.14 arasında değişmektedir. Alfa düzeyi 0.05’ten 0.001’e düştükçe güçte azalma eğiliminin olduğu görülmektedir. Düşük yetenek düzeyine sahip kaynağın yer aldığı kopya durumlarında güç bir miktar artmakta ve en yüksek gücün kaynağın yetenek düzeyinin 3.00 ve -1.50 aralığında olduğu durumlarda gözlenmiştir. 0.05 ve 0.01 alfa düzeyinde kopyacının yetenek düzeyinin düştüğü durumlarda güçte artışın olduğu görülmektedir.

Madde grubu 2’de ise düşük ayırt edici maddeler olmasına rağmen tüm kopyacı ve kaynağın yetenek düzeylerinin çaprazlanmasında ω indeksinin gücünün 1.00’e yakın olduğu ortaya çıkmıştır.

226 Onder SUNBUL - Seha YORMAZ/ Eurasian Journal of Educational Research 74 (2018) 207-226

Kolay ve yüksek ayırt edici maddelerin yer aldığı madde grubunda ise indeksin gücünün genelde oldukça düşük olduğu görülmüştür. Kaynağın yetenek düzeyinin arttığı ve kopyacının yetenek düzeyinin azaldığı kopya durumlarında gücün artma eğiliminde olduğu ve kopyacı ve kaynak çiftinin yetenek düzeyi -3.00 ile 1.50 aralığında iken gücün bu grupta en yüksek değerler aldığı ortaya çıkmıştır. Diğer koşullarda ise sadece 0.05 alfa düzeyinde -3.00 ve -1.50 yetenek düzeyi aralığı haricinde tüm alfa düzeyinde ve tüm koşullarda ω indeksinin performansının düşük olduğu görülmüştür.

Zor ve yüksek ayırt edici maddelerin kopya çekildiği durumlarda ise ω indeksinin gücü 0.56 ile 1.00 arasında değişmektedir. Birey çiftlerinin yetenek düzeylerine ait kombinasyonların tümünde çoğunlukla gücün 1.00’e yakın olduğu ortaya çıkmıştır.

Araştırmanın Sonuçları ve Önerileri: ω indeksinin I. Tip hata oranı bazı durumlar haricinde tüm koşullar ve tüm alfa düzeylerinde birbirine yakın ve düşük değerler almıştır. Ancak özellikle kopyacının yetenek düzeyinin düşük olduğu durumlarda I. Tip hata oranında fazla artışın olduğu görülmektedir. Araştırmacılar düşük yetenek düzeyine sahip kaynağın yer aldığı kopya durumlarında ω indeksini kullanırken dikkatli olmalıdırlar. Güç çalışması sonucunda ise madde güçlüğünün indeksin gücünü oldukça etkilediği görülmektedir. Kolay maddelerde çekilen kopyayı belirlemede indeksin gücünde anlamlı bir azalmanın olduğu ortaya konmuştur. Kolay maddeden kopyanın çekildiği durumlarda en iyi sonuçlar kopyacı ve kaynağın yetenek düzeyinin -3.50 ile -1.50 aralığında olduğunda ortaya çıkmıştır. Madde ayırt ediciliğin ise güçlük kadar indeksin gücünde etkili olmadığı ortaya çıkmıştır. Ancak ω indeksi, ayırt edici ve zor maddelerden çekilen kopyayı belirlemede en güçlü, ayırt edici ve kolay maddelerden çekilen kopyayı belirlemede ise en zayıf olduğu görülmüştür.

Keywords

• Cevap kopyalamayı belirleme,hile,test güvenliği

Investigating the Performance of Omega Index According to Item Parameters and Ability Levels

Abstract

Purpose: Several studies can be found in the literature that investigate the performance of ω under various conditions. However no study for the effects of item difficulty, item discrimination, and ability restrictions on the performance of ω could be found. The current study aims to investigate the performance of ω for the conditions given below. Research Methods: b parameter range was restricted in two levels (-2.50 – 0.00, 0.01 – 2.50); a parameter range, in two levels (0.10 – 0.80 and 0.81 – 1.50). After crossing a and b parameter ranges, four different item parameter cells were obtained. 10,000 examinee responses were generated for each item parameter cell for 20 items. After combining four data sets, an 80-itemdataset was obtained. In order to obtain the effects of source’s and copier’s ability levels to the performance of ω, ability range was divided into four intervals (-3.00 – -1.50, -1.50 – 0.00, 0.00 – 1.50 and 1.50 – 3.00). By crossing the ability ranges of source and copier, sixteen different combinations were obtained. Each of the sixteen ability pairs of source and copier cheating was investigated for item parameter crossing cells for power study of ω. For Type I error study, no cheating data were investigated for the same conditions and levels. Findings: Type I error inflations were observed for the lower copier ability levels. The results of the power study indicate that when high ability level copier copied answers of the low difficulty level and high discriminative items from high ability level source, power of ω was weakened. Implications for Research and Practice: The study suggests that researchers must pay attention to copiers - source ability level and copied items' difficulty levels while using ω index for detecting answer copying.

Keywords

• Answer copy detection,cheating,test security

References

1. Angoff, W.H. (1974). The development of statistical indices for detecting cheaters. Journal of American Statistical Association, 69, 44-49.
2. Anikeef, A.M. (1954). Index of collaboration for test administrators. Journal of Applied Psychology, 38, 174-177.
3. Armstrong, R. D., & Shi, M. (2009). A parametric cumulative sum statistic for person fit. Applied Psychological Measurement, 33(5), 391-410. Assessment Systems Corporation (1993). Scrutiny!: Software to identify test misconduct. Advanced Psychometrics.
4. Bay, M. L. G. (1994). Detection of copying on multiple-choice examinations (Doctoral dissertation, Southern Illinois University, 1987). Dissertation Abstracts International, 56(3-A), 899.
5. Bellezza, F.S., & Bellezza, S.F. (1989). Detection of cheating on multiple-choice tests by using error-similarity analysis. Teaching of Psychology, 16, 151-155. British Journal of Arts and Social Sciences ISSN: 2046-9578 59.
6. Belov, D. I. (2011). Detection of answer copying based on the structure of a high-stakes test. Applied Psychological Measurement, 35(7), 495–517.
7. Belov, D. I., & Armstrong, R. D. (2010). Automatic detection of answer copying via kullback-leibler divergence and K-index. Applied Psychological Measurement, 34(6), 379–392.
8. Bird, C. (1927). The detection of cheating in objective examinations. School and society, 25, 261-262.

9. Bird, C. (1929). An improved method of detection cheating in objective examinations. Journal of Educational Research, 25, 261-262.
10. Cizek, G. J., & Wollack, J. A. (2017). Handbook of quantitative methods for detecting cheating on tests. New York, NY: Routledge. Clark, J. M. (2010). Aberrant response patterns as a multidimensional phenomenon: Using factor-analytic model comparison to detect cheating. ProQuest LLC. University of Kansas.
11. Deng, W. (2008). An innovative use of the standardized log-likelihood statistic to evaluate person fit. Dissertation Abstracts International Section A: Humanities and Social Sciences. Rutgers State University of New Jersey.
12. Frary, R. B. (1993). Statistical detection of multiple-choice answer copying: Review and commentary. Applied Measurement in Education, 6, 153-65.
13. Frary, R. B., Tideman, T. N., & Watts, T. M. (1977). Indices of cheating on multiple-choice tests. Journal of Educational Statistics, 6, 152-165.
14. Hanson, B. A., Harris, D. J., & Brennan, R. L. (1987). A comparison of several statistical methods for examining allegations of copying (ACT Research Report Series No. 87-15). Iowa City, IA: American College Testing.
15. Harpp, D.N., Hogan, J.J., & Jennings, J.S. (1996). Crime in the classroom – Part II, an update. Journal of Chemical Education, 73(4), 349-351.
16. Holland, P.W. (1996). Assessing unusual agreement between the incorrect answers of two examinees using the K-index: statistical theory and empirical support (Research Report RR-94-4). Princeton, NJ: Educational Testing Service.
17. Hui, H.-fai. (2010). Stability and sensitivity of a model-based person-fit index in detecting item pre-knowledge in computerized adaptive test. Dissertation Abstracts International Section A: Humanities and Social Sciences. University of Hong Kong.
18. Luecht, R. M. (2011). Gen3PL Raw Data (Version 2). Greensboro, NC: [Author].
19. Maynes, D. D. (2009, April). Combining statistical evidence for increased power in detecting cheating. Presented at the annual conference of the National Council on Measurement in Education, San Diego, CA.
20. Saupe, J.L. (1960). An empirical model for the corroboration of suspected cheating on multiple-choice tests. Educational and Psychological Measurement, 20, 475-489.
21. Onder SUNBUL - Seha YORMAZ/ Eurasian Journal of Educational Research 74 (2018) 207-226 223
22. Shu, Z. (2011). Detecting test cheating using a deterministic, gated item response theory model. (Doctoral dissertation, The University of North Carolina at Greensboro, 2010). Dissertation Abstracts International Section A: Humanities and Social Sciences.
23. Sotaridona, L.S., & Meijer, R.R. (2002). Statistical properties of the K-index for detecting answer copying. Journal of Educational Measurement, 39, 115-132.
24. Sotaridona, L. S., & Meijer, R. R. (2003). Two new statistics to detect answer copying. Journal of Educational Measurement, 40, 53-69.
25. Sotaridona, L.S., van der Linden, W.J., & Meijer, R.R. (2006). Detecting answer copying using the kappa statistic. Applied Psychological Measurement, 30, 412-431.
26. R Core Team. (2016). R: A language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing. Retrieved from http://www.R-project.org/
27. van der Linden, W. J., & Sotaridona, L.S. (2004). A statistical test for detecting answer copying on multiple-choice tests. Journal of Educational Measurement, 41, 361-378.
28. van der Linden, W. J., & Sotaridona, L.S. (2006). Detecting answer copying when the regular response process follows a known response model. Journal of Educational and Behavioral Statistics, 31, 283-304.
29. van Krimpen-Stoop, E. M. L. A., & Meijer, R. R. (2001). CUSUM-based person-fit statistics for adaptive testing. Journal of Educational and Behavioral Statistics, 26(2), 199–217.
30. Wesolowsky, G. O. (2000). Detecting excessive similarity in answers on multiple choice exams. Journal of Applied Statistics, 27(7), 909-921.
31. Wollack, J. A. (1997). A nominal response model approach to detect answer copying. Applied Psychological Measurement, 21, 307-320.
32. Wollack, J. A. (2003). Comparison of answer copying indices with real data. Journal of Educational Measurement, 40, 189-205.
33. Wollack, J. A. (2006). Simultaneous use of multiple answer copying indexes to improve detection rates. Applied Measurement in Education, 19, 265-288.
34. Wollack, J. A., & Cohen, A. S. (1998). Detection of answer copying with unknown item and trait parameters. Applied Psychological Measurement, 22, 144-152.
35. Wollack, J. A., & Maynes, D. D. (2017). Detection of test collusion using cluster analysis. In G. J. Cizek and J. A. Wollack (Eds.), Handbook of quantitative methods for detecting cheating on tests (pp. 124-150). New York, NY: Routledge.
36. Zopluoglu, C. (2016). Classification performance of answer-copying indices under different types of irt models. Applied Psychological Measurement, 40 (8), 592-607.
37. Zopluoglu, C., & Davenport, E.C., Jr. (2012). The empirical power and type I error rates of the GBT and ω indices in detecting answer copying on multiple-choice tests. Educational and Psychological Measurement, 1-26.