RELIABILITY ANALYSIS OF MULTIPLE-CHOICE TESTS: DEVELOPMENT OF A WEB APPLICATION AND USABILITY EVALUATION

Abstract

This study aims to evaluate the usability of an online platform designed for conducting reliability analysis of multiple-choice tests. Within the scope of the research, a self-developed website, sinavanalizlerim.com’, which performs statistical analyses based on specific parameters, was examined. User experience was assessed using the Website Usability Scale, which comprises four sub-dimensions: ease of navigation, design consistency, access speed, and overall usability. A sample group of 50 academics evaluated the platform based on these dimensions. The findings indicate that the website was positively received, particularly in terms of design consistency, alignment between menus and content, and fast access features. However, to enhance the platform’s effectiveness, it is recommended to incorporate features such as topic-based question matching, AI-supported feedback mechanisms, and integrated grading systems. These improvements are expected to enhance the quality of assessment processes and promote more effective use in educational settings. Methodologically, data were collected through a survey and analyzed using SPSS software. Factor analysis was conducted in the context of website usability, and the Cronbach’s Alpha coefficient was calculated as 0.885, indicating a high level of reliability for the scale. In conclusion, sinavanalizlerim.com’ stands out as a highly effective digital tool for evaluating multiple-choice tests. Nonetheless, the incorporation of the aforementioned technological enhancements is suggested to further improve user experience. This study serves as a significant reference for the effective integration of digital tools in educational assessment.

Keywords

• Multiple-Choice
• Tests Reliability
• Analysis Usability
• Educational Assessment
• Web Platforms

ÇOKTAN SEÇMELİ TESTLERİN GÜVENİRLİK ANALİZİ: WEB UYGULAMASI GELİŞTİRME VE KULLANILABİLİRLİK DEĞERLENDİRMESİ

Abstract

Bu çalışma, çoktan seçmeli testlerin güvenirlik analizini gerçekleştiren bir çevrimiçi platformun kullanılabilirliğini değerlendirmeyi amaçlamaktadır. Araştırma kapsamında, kendi geliştirdiğimiz istatistiksel parametreleri analiz eden bir web sitesi olan ‘sinavanalizlerim.com’ incelenmiş ve kullanıcı deneyimi, dört alt boyuttan oluşan Web Sitesi Kullanılabilirlik Ölçeği temel alınarak ölçülmüştür. Örneklem grubunu oluşturan 50 akademisyen, web sitesinin gezinme kolaylığı, tasarım tutarlılığı, erişim hızı ve kullanım kolaylığı olmak üzere dört alt boyutta değerlendirilmiştir. Elde edilen sonuçlar, web sitesinin tasarım tutarlılığı, menü ve içerik uyumu ile hızlı erişim özellikleri açısından kullanıcılar tarafından olumlu karşılandığını göstermektedir. Bununla birlikte, platformun etkinliğini artırmak için konu temelli soru eşleştirme, yapay zekâ destekli geri bildirim mekanizmaları ve notlandırma entegrasyonunun eklenmesi önerilmektedir. Bu tür iyileştirmelerin, ölçme ve değerlendirme süreçlerinin kalitesini artırarak eğitim alanında daha etkin bir kullanım sağlayabileceği öngörülmektedir. Araştırmanın metodolojisi çerçevesinde, veri toplama yöntemi olarak anket kullanılmış ve elde edilen veriler SPSS programı ile analiz edilmiştir. Web sitesi kullanılabilirliği açısından faktör analizleri gerçekleştirilmiş ve Cronbach’s Alpha katsayısı 0,885 olarak hesaplanmıştır, bu da ölçeğin güvenilir olduğunu göstermektedir. Sonuç olarak, ‘sinavanalizlerim.com’, çoktan seçmeli testlerin değerlendirilmesi konusunda çok etkili bir dijital araç olarak öne çıkmaktadır. Ancak, sistemin daha kullanıcı dostu hale getirilmesi için yukarıda belirtilen teknolojik iyileştirmeler önerilmektedir. Bu çalışma, eğitimde dijital araçların etkin kullanımı konusunda önemli bir referans kaynağı olarak değerlendirilmektedir.

Keywords

• Çoktan Seçmeli Testler
• Güvenirlik Analizi
• Kullanılabilirlik
• Eğitimde Ölçme ve Değerlendirme
• Web Platformları

References

1. Acar, T. (2018). Yazılı yoklamalarda puanlama yönteminin test ve madde istatistiklerine etkisi. Elementary Education Online, 17(2), 500-509. https://doi.org/10.17051/ilkonline.2018.418890
2. Alpar, R. (2016). Spor, sağlık ve eğitim bilimlerinden örneklerle uygulamalı istatistik ve geçerlik-güvenirlik (4. Baskı). Detay Yayıncılık.
3. Arıkan, S., Çelen, Ü., Demirtaşlı, R. N., Gülleroğlu, H. D., Gültekin, S., Kilmen, S. ve Demir, S. B. (2017). Eğitimde ölçme ve değerlendirme (3. Baskı). Anı Yayıncılık.
4. Aslan, K. (2018). Eğitim bilimleri ölçme ve değerlendirme (3. Baskı). Kamupark Yayıncılık.
5. Atılgan, H., Kan, A. ve Doğan, N. (2014). Eğitimde ölçme ve değerlendirme (6. Baskı). Anı Yayıncılık.
6. Aydın, A. (2013). Çoktan seçmeli ölçme sonuçlarının bilgisayar yardımıyla analizi [Yayımlanmamış yüksek lisans tezi]. Afyon Kocatepe Üniversitesi.
7. Başol, G. (2016). Eğitimde ölçme ve değerlendirme (4. Baskı). Pegem Akademi.
8. Baykul, Y., Kelecioğlu, H. ve Gebal. (1993). Ders geçme ve kredi düzeni araştırması (2. Baskı). Milli Eğitim Basımevi.

9. Baykul, Y. (1997). İstatistik metotlar ve uygulamalar (2. Baskı). Anı Yayıncılık.
10. Baykul, Y. ve Güzeller, C. O. (2013). Sosyal bilimler için istatistik (1. Baskı). Pegem Akademi.
11. Benzer, A. ve Eldem, E. (2013). Türkçe ve edebiyat öğretmenlerinin ölçme ve değerlendirme araçları hakkında bilgi düzeyleri. Kastamonu Eğitim Dergisi, 21(2), 649-664.
12. Birgin, A., & Özcan, H. (2022). 8. sınıf öğrencilerinin mevsimlerin oluşumu ile ilgili bilgilerini ölçmeye yönelik bir başarı testinin geliştirilmesi. Trakya Üniversitesi Sosyal Bilimler Dergisi, 24(1), 305-326. https://doi.org/10.26468/trakyasobed.817792
13. Boz, C., Bostan Sarıoğlan, A., & Özcan, H. (2022). Kimyasal bağlar konusunda başarı testi geliştirme çalışması. Manisa Celal Bayar Üniversitesi Eğitim Fakültesi Dergisi, 10(2), 149-166. https://doi.org/10.52826/mcbuefd.1065432
14. Büyüköztürk, Ş., Çokluk, Ö. ve Köklü, N. (2013). Sosyal bilimler için istatistik (12. Baskı). Pegem Akademi.
15. Çağlar, D. (1970). Başarının ölçülmesi ve istatistik metotlarla değerlendirme (3. Baskı). Çağdaş Eğitim Kitapları.
16. Çakmak, Ö. (2008). Eğitimin ekonomiye ve kalkınmaya etkisi. D.Ü. Ziya Gökalp Eğitim Fakültesi Dergisi, (11), 33-41.
17. Çakmak, E. K., Güneş, E., Çiftçi, S. ve Üstündağ, M. T. (2011). Web sitesi kullanılabilirlik ölçeğinin geliştirilmesi: Geçerlik, güvenirlik analizi ve uygulama sonuçları. Pegem Eğitim ve Öğretim Dergisi, 1(2), 31-40. https://doi.org/10.14527/C1S2M4
18. Çakmaktepe, M. (2024, Kasım 20). sinavanalizlerim.com. https://app.sinavanalizlerim.com adresinden 21 Kasım 2024 tarihinde alınmıştır.
19. Doğan, N. (2008). Ölçme ve değerlendirme konu anlatımlı soru bankası (1. Baskı). Uzman Kariyer Yayınları.
20. Dündar, M. (2019). Geliştirilen genel yetenek çoktan seçmeli ölçme aracınınin psikometrik özelliklerinin klasik test kuramı ve madde tepki kuramına göre incelenmesi [Yayımlanmamış yüksek lisans tezi]. Hasan Kalyoncu Üniversitesi.
21. Göker, M. (2019). Yabancı dil olarak Türkçenin öğretiminde uzaktan eğitim web sitelerinin kullanılabilirlik açısından incelenmesi (3 dakikada Türkçe örneği). [Yayımlanmamış yüksek lisans tezi]. Sakarya Üniversitesi.
22. Gömleksiz, M., Bıçak, B., Çetin, B., Karaca, E., Yurdabakan, İ. ve Nartgün, Z. (2008). Eğitimde ölçme ve değerlendirme (2. Baskı). Nobel Akademik Yayıncılık.
23. Güler, N. (2011). Eğitimde ölçme ve değerlendirme (2. Baskı). Pegem Akademi.
24. Gürbüz, S. ve Şahin, F. (2018). Sosyal bilimlerde araştırma yöntemleri (4. Baskı). Seçkin.
25. Karadağ, N. (2014). Açık ve uzaktan eğitimde ölçme ve değerlendirme: Mega üniversitelerdeki uygulamalar [Yayımlanmamış yüksek lisans tezi]. Anadolu Üniversitesi.
26. Kasap, Y. (2012). Ölçme ve değerlendirme (1. Baskı). Beyaz Kalem Yayıncılık.
27. Özçelik, D. A. (1998). Ölçme ve değerlendirme (2. Baskı). ÖSYM Yayınları.
28. Özen, Y., Gülaçtı, F. ve Kandemir, M. (2006). Eğitim bilimleri araştırmalarında geçerlik ve güvenirlik sorunsalı. Erzincan Eğitim Fakültesi Dergisi, 8(1), 69-88.
29. Rehman, A., Aslam, A. ve Hassan, S. H. (2018). Item analysis of multiple-choice questions. Pakistan Oral and Dental Journal, 38(2), 291-293.
30. Saputra, D., Syah, E. A. ve Darnis, F. (2022). Usability çoktan seçmeli ölçme aracınıng on the simponik website using the system usability scale (SUS). Sinkron, 7(4), 2584-2592.
31. Shete, A. N., Kausar, A., Lakhkar, K. ve Khan, S. T. (2015). Item analysis: An evaluation of multiple-choice questions in Physiology examination. Journal of Contemporary Medical Education, 3(3), 106-109. https://doi.org/10.5455/jcme.20151011041414
32. Singh, T., Gupta, P. ve Singh, D. (2021). Principles of medical education. Jaypee Brothers Medical Publishers. Tavakol, M. ve Dennick, R. (2011). Post-examination analysis of objective tests. Medical Teacher, 33(6), 447-458. https://doi.org/10.3109/0142159X.2011.564682
33. Tekin, H. (1977). Eğitimde ölçme ve değerlendirme (4. Baskı). Mars Matbaası.
34. Tekin, H. (1979). Eğitimde ölçme ve değerlendirme (2. Baskı). Yargı Kitap ve Yayınevi.
35. Telek, C. (2013). Kullanılabilirlik kavramı, tasarım süreci içindeki yeri ve benzer tasarım yaklaşımları ile ilişkisi [Yayımlanmamış yüksek lisans tezi]. Mimar Sinan Güzel Sanatlar Üniversitesi.
36. Tomak, L. (2013). Madde analizi ve tıp fakültesi sınavlarının değerlendirilmesi [Yayımlanmamış doktora tezi]. Ondokuz Mayıs Üniversitesi.
37. Uğan, Ç. ve Akbolat, M. (2023). Şiddete maruz kalmanın iş performansına etkisinde şiddet görme korkusunun aracı rolü. Journal of Organizational Behavior Studies, 3(1), 25-37. https://doi.org/10.5281/zenodo.8098890
38. Uysal, M. (2019). Eğitimde ölçme ve değerlendirme (3. Baskı). Nobel Akademik Yayıncılık.
39. Yılmaz, H. (1996). Eğitimde ölçme ve değerlendirme (9. Baskı). Öz Eğitim Yayınları.
40. Yöntem, M. K. (2022). Uygulama örnekleri ile etkili üniversite eğitimi (1. Baskı). Eğitim Yayınevi.