An Investigation of Item Bias for the Attitude Scale Towards E-Assessment

Abstract

It is thought that the concept of electronic assessment (e-assessment), which has become a current issue with Covid-19, will gain widespread use in the upcoming years as a requirement of the modern age. In this respect, it can be suggested that analyzing attitudes toward e-assessment will be important in the present and the future. Considering the attitude scales for e-assessment used in Turkey, it can be observed that some relevant evidence has been demonstrated for the validity and reliability of the scales. However, although inter-group comparisons were performed in these studies, they did not investigate at what level measurement invariance is achieved; or whether any items were demonstrating differential item functioning (DIF), and reducing validity by indicating bias. This mixed-method study is significant in terms of providing further evidence of validity and it aims to examine the e-Assessment Attitude Scale, developed by Bahar and revised by Bahar & Asil, in terms of measurement invariance and differential item functioning according to the variables of gender and possession of a personal computer. The quantitative part of the study consisted of 537 undergraduate students and the qualitative part consisted of eight field experts. During the first step of the quantitative part of the study, the data obtained were tested for measurement invariance based on independent variables by checking the analysis assumptions. Due to the fact that metric invariance could not be achieved in both independent variables, POLY-SIBTEST and MantelTest were applied to the data set in the second step, and items demonstrating DIF were determined. Finally, in the qualitative part, the researchers discussed whether the items were biased or not by referring to the expert opinions on the items that demonstrate a high level of DIF according to the results of both methods, and relevant recommendations were presented to the researchers and practitioners.

Keywords

• Measurement invariance
• differential item functioning
• bias
• e-assessment
• attitude.

E-Değerlendirmeye Yönelik Tutum Ölçeğinin Madde Yanlılığının İncelenmesi

Abstract

Covid-19 ile tekrar gündeme gelen elektronik değerlendirme (e-değerlendirme) kavramının, çağın bir gereksinimi olarak ilerleyen yıllarda epey yaygınlaşacağı düşünülmektedir. Bu açıdan, e-değerlendirme kavramına ilişkin tutumların incelenmesinin günümüz ve sonrasında önem arz edeceği söylenebilir. Türkiye’de kullanılan e-değerlendirmeye yönelik tutum ölçekleri dikkate alındığında, ölçeklerin geçerliğine ve güvenirliğine ilişkin kanıtların ortaya koyulduğu görülmektedir. Ancak bu araştırmalarda gruplar arası karşılaştırmalar yapılmış olsa da, ölçme değişmezliğinin ne düzeyde sağlandığı; değişen madde fonksiyonu (DMF) gösteren ve yanlılığa işaret ederek geçerliği düşüren herhangi bir maddenin bulunup bulunmadığı incelenmemiştir. Geçerliğe ilişkin daha fazla kanıt sunması bakımından önem arz eden bu karma yöntem araştırmanın amacı, Bahar tarafından geliştirilmiş; Bahar ve Asil tarafından revize edilmiş, e-Değerlendirmeye Yönelik Tutum Ölçeği’nin, cinsiyet ve kişisel bir bilgisayara sahip olma değişkenlerine göre, ölçme değişmezliği, DMF ve madde yanlılığı açısından incelenmesidir. Araştırmanın nicel kısmı 537 lisans öğrencisinden; nitel kısmı ise beş alan uzmanından oluşmaktadır. Araştırmanın nicel kısmının birinci basamağında, elde edilen veri, analiz varsayımları kontrol edilerek, bağımsız değişkenler temelinde ölçme değişmezliği bakımından sınanmıştır. Her iki bağımsız değişkende de metrik değişmezliğin sağlanamıyor oluşu sebebiyle, ikinci aşamada veri setine POLY-SIBTEST ile MantelTest uygulanmış ve DMF içeren maddeler belirlenmiştir. Son olarak nitel kısımda, iki yöntem sonucu yüksek düzeyde DMF gösterdiği belirlenen maddelere ilişkin uzman görüşlerine başvurularak maddelerin yanlılık gösterip göstermediği tartışılmış; bu bağlamda araştırmacılara ve uygulayıcılara öneriler sunulmuştur.

Keywords

• Ölçme değişmezliği
• değişen madde fonksiyonu
• yanlılık
• e-değerlendirme
• tutum.

References

1. Akkoyunlu, B., & Orhan, F. (2003). Bilgisayar ve öğretim teknolojileri eğitimi (BÖTE) bölümü öğrencilerinin bilgisayar kullanma öz yeterlik inancı ile demografik özellikleri arasındaki ilişki. The Turkish Online Journal of Educational Technology, 2(3), 86-93.
2. Arıkan Akın, Ç. (2015). Değişen madde fonksiyonu belirlemede MTK-olabilirlik oranı, ordinal lojistik regresyon ve POLY-SIBTEST yöntemlerinin karşılaştırılması. E-Uluslararası Eğitim Araştırmaları Dergisi, 6(1), 1- 16. https://doi.org/10.19160/e-ijer.24504
3. Arıkan Akın, Ç., Uğurlu, S., & Atar, B. (2015). MIMIC, SIBTEST, lojistik regresyon ve Mantel Haenszel yöntemleriyle gerçekleştirilen DMF ve yanlılık çalışması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 31(1), 34-52. DOI:10.16986/HUJE.2015014226
4. Asil, M., & Gelbal, S. (2012). PISA öğrenci anketinin kültürler arası eşdeğerliği. Eğitim ve Bilim, 37(166), 236-249.
5. Atalay, K. (2010). PISA 2006 öğrenci anketinde yer alan tutum maddelerinin değişen madde fonksiyonu açısından incelenmesi [Yüksek lisans tezi]. Hacettepe Üniversitesi.
6. Ayan, C. (2011). PISA 2009 fen okuryazarlığı alt testinin değişen madde fonksiyonu açısından incelenmesi [Yüksek lisans tezi]. Hacettepe Üniversitesi.
7. Bahar, M. (2014). Üniversite öğrencileri için e-değerlendirme tutum ölçeğinin geliştirilmesi. E-International Journal of Educational Research, 5(2), 38-53.
8. Bahar, M., & Asil, M. (2018). Attitude towards e-assessment: influence of gender, computer usage and level of education. The Journal of Open, Distance and e-Learning, 33(3), 221-237. https://doi.org/10.1080/02680513.2018.1503529

9. Başokçu, T. O., & Öğretmen, T. (2013). Öğretmen öz yeterlilik ölçeğinde değişen madde fonksiyonlarının ağırlıklandırılmış cevap modeli ile belirlenmesi. Ege Eğitim Dergisi, 14(2), 63-78.
10. Bilican Demir, S. (2014). Çoklu puanlanan maddelerde madde işlev farklılığının Mantel Test ve olabilirlik oran testi ile karşılaştırılması [Doktora tezi]. Ankara Üniversitesi.
11. Bakan Kalaycıoğlu, D., & Kelecioğlu, H. (2011). Öğrenci seçme sınavının madde yanlılığı açısından incelenmesi. Eğitim ve Bilim, 36, 3-13.
12. Başol, G., Kocadağ Ünver, T., & Çiğdem, H. (2017). Ölçme değerlendirme dersinde e-sınav uygulanmasına ilişkin öğrenci görüşleri. Uluslararası Türk Eğitim Bilimleri Dergisi, 2017(8), 111-128.
13. Başaran, B., Yalman, M., & Gönen. S. (2016). Attitude scale towards web-based examination system (MOODLE) - Validity and reliability study. Educational Research and Reviews, 11(17), 1641-1649. DOI: 10.5897/ERR2016.2850
14. Bayraktar, F. (2001). İnternet kullanımının ergen gelişimindeki rolü [Yüksek lisans tezi]. Ege Üniversitesi. Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling, 9(2), 233–255.
15. Çepni, Z. (2011). Değişen madde fonksiyonlarının SIBTEST, Mantel-Haenzsel, lojistik regresyon ve madde tepki kuramı yöntemleriyle incelenmesi [Doktora tezi]. Hacettepe Üniversitesi.
16. Yalçın, S. (2018). Karma yöntemler araştırmaları nasıl kullanılır? Ö. Çokluk Bökeoğlu (Ed.). Karma yöntemler araştırması: Alana yönelik bir kılavuz içinde (ss.105-133). Nobel Akademi Yayıncılık
17. Chen, F. F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural Equation Modeling, 14, 464–504. https://doi.org/10.1080/10705510701301834
18. Creswell, J. W. (2014). Reseacrh design: Qualitative, quantitative and mixed methods approaches (4th ed.). SAGE Publications.
19. Demir, S. (2013). PISA 2009 matematik okuryazarlığı alt testinde bulunan maddelerinin Mantel Haenszel, SİBTEST ve lojistik regresyon yöntemleri ile değişen madde fonksiyonunun incelenmesi [Yüksek lisans tezi]. Abant İzzet Baysal Üniversitesi.
20. Doğan, N., & Öğretmen, T. (2008). Değişen madde fonksiyonunu belirlemede Mantel‐Haenszel, ki‐kare ve lojistik regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 33(148), 100-112.
21. Erdem Keklik, D. (2012). İki kategorili maddelerde tek biçimli değişen madde fonksiyonu belirleme tekniklerinin karşılaştırılması: Bir simülasyon çalışması [Doktora tezi]. Ankara Üniversitesi.
22. Garland, K. J., & Noyes, J. M. (2004). Computer experience: A poor predictor of computer attitudes. Computers in Human Behavior, 20, 823–840. https://doi.org/10.1016/j.chb.2003.11.010
23. Garland, K. J., & Noyes, J. M. (2008). Computer attitude scales: How relevant today? Computers in Human Behavior, 24, 563–575. https://doi.org/10.1016/j.chb.2007.02.005
24. Gierl, M. J., & Haladyna, T. M. (2013). Automatic item generaiton: Theory & practice. Routledge.
25. Gök, B., Kelecioğlu, H., & Doğan, N. (2010). Değişen madde fonksiyonunu belirlemede Mantel Haenszel ve Lojistik Regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 35(156), 3-16.
26. Gregorich, S. E. (2006). Do self-report instruments allow meaningful comparisons across diverse population groups?: Testing measurement invariance using the confirmatory factor analysis framework. Medical Care, 44, 78-94. doi: 10.1097/01.mlr.0000245454.12228.8f.
27. Guida, F., & Ludlow, L. (1989). A cross-cultural study of test anxiety. Journal of Cross Cultural Psychology, 20, 178-190.
28. Gül, E., Çokluk, Ö., & Gül, Ç. D. (2015). Development of an attitudes scale toward online assessment. Procedia – Social and Behavioral Sciences, 174, 529–536. https://doi.org/10.1016/j.sbspro.2015.01.699
29. Güler, D., & Çakır, G. (2013). Lise son sınıf öğrencilerinin sınav kaygısını yordayan değişkenlerin incelenmesi. Türk Psikolojik Danışma ve Rehberlik Dergisi, 4(39), 82-94.
30. Gür, E. (2019). PISA 2015 uygulamasındaki maddelerin kültüre göre değişen madde fonksiyonu açısından incelenmesi [Yüksek lisans tezi]. Hacettepe Üniversitesi.
31. Hambleton, R., & Rogers, J. (1994). Item bias review. Practical Assessment, Research, and Evaluation, 4, 1-3.
32. Henderson, D. L. (1999). Investigation of differential item functioning in exit Examinations across item format and subject area [Doctoral dissertation]. University of Alberta.
33. Henderson, D. L. (2001). Prevalence of gender DIF in mixed format high school exit examinations. Paper presented at the Annual Meeting of the American Educational Research Association (Seattle, WA, April 10-14, 2001). https://eric.ed.gov/?id=ED458284
34. Jorgensen, T. D., Pornprasertmanit, S., Schoemann, A. M., & Rosseel, Y. (2022). “semTools: Useful tools for structural equation modeling.” R package version 0.5-6. Retrieved from https://CRAN.R-project.org/package=semTools
35. Karakaya, İ., & Kutlu, Ö. (2012). Seviye Belirleme Sınavı’ndaki Türkçe alt testlerinin madde yanlılığının incelenmesi. Eğitim ve Bilim, 37(165), 342-368.
36. Kavakçı, Ö., Güler, A. S., & Çetinkaya, S. (2011). Sınav kaygısı ve ilişkili psikiyatrik belirtiler. Klinik Psikiyatri, 14, 7-16.
37. Kelleci, M., Güler, N., Sezer, H., & Gölbası, Z. (2009). Lise öğrencilerinde internet kullanma süresinin cinsiyet ve psikiyatrik belirtiler ile ilişkisi. TAF Prev Med Bull, 8(3), 223-230.
38. Kır, İ., & Sulak, Ş. (2014). Eğitim fakültesi öğrencilerinin internet bağımlılık düzeylerinin incelenmesi. Elektronik Sosyal Bilimler Dergisi, 13(51), 150-167. https://doi.org/10.17755/esosder.96255
39. Kline, R. B. (2016). Principles and practice of structural equation modeling (4th ed.). The Guilford Press. Korkmaz, M. (2005). Madde cevap kuramına dayalı olarak çok kategorili maddelerde madde ve test yanlılığının (işlevsel farklılığın) incelenmesi [Doktora tezi]. Ege Üniversitesi.
40. Kuzu, Y. (2021). Çok kategorili puanlanan maddelerde değişen madde ve adım fonksiyonu belirleme yöntemlerinin incelenmesi [Doktora Tezi]. Hacettepe Üniversitesi.
41. Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50, 741-749. https://doi.org/10.1037/0003-066X.50.9.741
42. Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrica, 58, 525-543. https://doi.org/10.1007/BF02294825
43. Meade, A. W., & Lautenschlager, G. J. (2004). A comparison of item response theory and confirmatory factor analytic methodologies for establishing measurement equivalence/invariance. Organizational Research Methods, 7(4), 361–388. https://doi.org/10.1177/1094428104268
44. Meyer, J. P. (2014). Applied measurement with jMetrik. Routledge.
45. McLean, C. P., & Anderson, E. R. (2009). Brave men and timid women? A review of the gender differences in fear and anxiety. Clinical Psychology Review, 29(6), 496-505. doi: 10.1016/j.cpr.2009.05.003.
46. Öğretmen, T. (2006). Uluslararası okuma becerilerinde gelişim projesi (PIRLS) 2001 testinin psikometrik özelliklerinin incelenmesi: Türkiye-Amerika Birleşik Devletleri örneği [Yayımlanmamış doktora tezi]. Hacettepe Üniversitesi.
47. Öz, H. (2015). An investigation of preservice English teachers’ perceptions of mobile assisted language learning. English Language Teaching, 8(2), 22-34. http://dx.doi.org/10.5539/elt.v8n2p22
48. R Development Core Team (2021). R: A language and environment for statistical computing [Computer software]. R Foundation for Statistical Computing.
49. Rosseel Y (2012). “lavaan: An R Package for Structural Equation Modeling.” Journal of Statistical Software, 48(2), 1–36. doi:10.18637/jss.v048.i02.
50. Roussos, L. A., & Stout, W. F. (1996). Simulation studies of the effects of small sample size and studied item parameters on SIBTEST and Mantel‐Haenszel Type I error performance. Journal of educational measurement, 33(2), 215–230. https://doi.org/10.1111/j.1745-3984.1996.tb00490.x
51. Sırgancı, G. (2012). PISA 2006 öğrenci anketi madde yanlılığı sıralı lojistik regresyon ve POLY SIBTEST yöntemleri ile test edilmesi [Yüksek lisans tezi]. Abant İzzet Baysal Üniversitesi.
52. Shealy, R., & Stout, W. (1993). A model-based standardization approach that separates true bias/DIF from group ability differences and detects test bias/DTF as well as item bias/DIF. Psychometrika, 58(2), 159-194. https://doi.org/10.1007/BF02294572
53. Şenferah, S. (2015). 2010 seviye belirleme sınavı matematik alt testi için değişen madde fonksiyonlarının ve madde yanlılığının incelenmesi [Yüksek lisans tezi]. Gazi Üniversitesi.
54. Tiryaki, F. (2019). PISA 2015 öğrenci tutum anketlerinin değişen madde fonksiyonu ve ölçme değişmezliğinin incelenmesi [Yüksek lisans tezi]. Ankara Üniversitesi.
55. Tunç, E. (2016). İki ve çok kategorili puanlanan maddelerde değişen madde fonksiyonlarının karşılaştırılması [Doktora tezi]. Ankara Üniversitesi.
56. Tutgun, A. (2009). Öğretmen adaylarının problemli internet kullanımlarının incelenmesi [Yüksek Lisans Tezi]. Marmara Üniversitesi.
57. Uzun Özer, B., & Topkaya, N. (2011). Akademik erteleme ve sınav kaygısı. Adnan Menderes Üniversitesi Eğitim Fakültesi Eğitim Bilimleri Dergisi, 2(2), 12-19.
58. Üçkardeş, E. A. (2010). Mersin üniversitesi öğrencileri arasında internet bağımlılığının değerlendirilmesi [Uzmanlık Tezi]. Mersin Üniversitesi.
59. Ünsal Özberk, E. B., & Koç, N. (2017). WÇZÖ-IV maddelerinin cinsiyet ve sosyo-ekonomik düzey açısından işlev farklılığının belirlenmesinde kullanılan yöntemlerin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 8(1) ,112-127. https://doi.org/10.21031/epod.287577
60. Yandı, A. (2017). Ölçme eşdeğerliğini incelemede kullanılan yöntemlerin farklı koşullar altında istatistiksel güç oranları açısından karşılaştırılması [Doktora tezi]. Ankara Üniversitesi.
61. Yıldız, A. S. (2022). Derecelendirme ölçeklerinde örneklem büyüklüklerine göre DMF yöntemlerinin farklı alt gruplarda karşılaştırılması [Yüksek lisans tezi]. Akdeniz Üniversitesi.
62. Yıldız, H. Y. (2007). Sınav kaygısı-ana-baba tutumları ve mükemmeliyetçilik arasındaki ilişkinin incelenmesi [Yüksek Lisans Tezi]. Gazi Üniversitesi.
63. Zorbaz, O. (2013). Lise öğrencilerinin problemli internet kullanımının sosyal kaygı ve akran ilişkileri acısından incelenmesi [Yüksek Lisans Tezi]. Hacettepe Üniversitesi.
64. Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIF): Logistic regression modeling as a unitary framework for binary and likert-type (ordinal) item scores. Ottowa, ON: Directorate of Human Resources Research and Evaluation, Department of National Defense.