Supervised Mobile Digital Examination System: Technological Components Proposal

Year 2024, Volume: 2 Issue: 2, 120 - 135, 31.12.2024

Serkan Yıldırım , Arif Daş , Mehmet Cem Bölen , Ömer Arpacık , Orhan Çeliker , Mustafa Akbuğa , Eda Tör

https://doi.org/10.63063/jsat.1592992

Abstract

The aim of this research is to reveal the basic structure of a digital and mobile exam system that has the potential to digitize proctored exams and diversify exam processes and assessment methods. For this purpose, it was tried to determine the question alternatives that can be used in mobile digital exams and to reveal what the software components of an environment-independent mobile exam system could be. During the research process, workshops were held with field experts and the results of these workshops were reported. The qualitative research design was used in the research and the case study method was preferred and the data collection process was carried out by analyzing documents and workshop records. The results of the study revealed that questions containing multimedia elements in digital mobile exam systems can be used in the assessment of cognitive and psychomotor skills. In addition, it was determined that for a mobile digital exam system, software based on organizational structure modules and exam modules should be developed in a way that can work independently of hardware and operating systems.

Keywords

Mobile Examination System, Digital Exams, Measurement and Evaluation

Gözetim Altında Gerçekleştirilecek Mobil Dijital Sınav Sistemi: Teknolojik Bileşenler Önerisi

Abstract

Bu araştırmanın amacı; gözetim altındaki sınavları dijitalleştirecek, sınav süreçlerinin ve ölçme değerlendirme yöntemlerinin çeşitlenmesini sağlama potansiyeli olan dijital ve mobil bir sınav sisteminin temel yapısının nasıl olabileceğini ortaya çıkarmaktır. Bu amaç doğrultusunda mobil dijital sınavlarda kullanılabilecek soru alternatiflerinin belirlenmesi ve ortam bağımsız bir mobil sınav sisteminin yazılım bileşenlerinin neler olabileceği ortaya çıkarılmaya çalışılmıştır. Araştırma sürecinde alan uzmanları ile çalıştaylar gerçekleştirilmiş ve bu çalıştayların sonuçları raporlanmıştır. Araştırmada nitel araştırma deseni kullanılmış ve durum çalışması yöntemi tercih edilerek doküman ve çalıştay kayıtlarının analizi ile veri toplama süreci gerçekleştirilmiştir. Araştırma sonuçları dijital mobil sınav sistemlerinde çoklu ortam öğelerini içeren soruların bilişsel ve psikomotor becerilerin değerlendirilmesinde kullanılabileceğini ortaya çıkarmıştır. Ayrıca mobil bir dijital sınav sistemi için organizasyonel yapı modülleri ve sınav modülleri temelinde yazılımların donanım ve işletim sistemlerinden bağımsız çalışabilecek şekilde geliştirilmesi gerektiği belirlenmiştir.

Keywords

Mobil Sınav Sistemi, Dijital Sınavlar, Ölçme Değerlendirme

References

• L. Kirtman, "Online versus in-class courses: An examination of differences in learning outcomes," Issues in Teacher Education, vol. 18, no. 2, pp. 103-116, 2009.
• G. Afacan Adanır, R. İsmailova, A. Omuraliev, and G. Muhametjanova, "Learners’ Perceptions of Online Exams: A Comparative Study in Turkey and Kyrgyzstan," International Review of Research in Open and Distributed Learning, vol. 21, no. 3, 2020.
• T. M. Clark, C. S. Callam, N. M. Paul, M. W. Stoltzfus, and D. Turner, "Testing in the Time of COVID-19: A Sudden Transition to Unproctored Online Exams," Journal of Chemical Education, pp. 3413–3417, 2020, doi: https://doi.org/10.1021/acs.jchemed.0c00546.
• K. Khalaf, M. El-Kishawi, M. Moufti, and S. Al Kawas, "Introducing a comprehensive high-stake online exam to final-year dental students during the COVID-19 pandemic and evaluation of its effectiveness," Medical Education Online, 2020.
• M. Keijzer-de Ruijter and S. Draaijer, "Digital exams in engineering education," in Technology Enhanced Assessment: 21st International Conference, TEA 2018, Amsterdam, The Netherlands, Revised Selected Papers, vol. 21, pp. 140-164, 2019.
• P. Krakowian, "Investigating user group behavior patterns in digital examinations," Studia Anglica Resoviensia, vol. 19, pp. 41–51, 2022.
• O. Gervasi, D. Perri, and M. Simonetti, "Strategies and system implementations for secure electronic written exams," IEEE Access, vol. 10, pp. 20559-20570, 2022.
• M. Özonur, H. Kamışlı, T. Y. Yelken, and H. S. Tokmak, "Uzaktan eğitim öğrencilerinin Enocta öğrenme yönetim sistemi hakkında görüşlerinin incelenmesi," Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, no. 50, pp. 283-302, 2019.
• M. S. H. Munna, M. R. Hossain, and K. R. Saylo, "Digital Education Revolution: Evaluating LMS-based Learning and Traditional Approaches," Journal of Innovative Technology Convergence, vol. 6, no. 2, 2024.
• YÖK, "Üniversitelerimizde Küresel Salgın Sürecinde Uzaktan Öğretim Uygulamaları Anket Sonuçları," 2020. [Online]. Available: https://covid19.yok.gov.tr/Documents/AnaSayfa/uzaktan-ogretim-anketi.pdf. [Accessed: Oct. 24, 2023].
• G. Başol, T. K. Ünver, and H. Çiğdem, "Student Views towards E-Test Applications in Measurement and Evaluation Course," International Journal of Turkish Education Sciences, no. 8, pp. 111-128, 2017.
• P. Chatzipetrou, K. Majkic, J. Samuelsson, and O. Åberg, "Students’ Acceptance Of Digital Exams: A Case Study In A Swedish University," in European Conference on e-Learning, vol. 22, no. 1, pp. 69-77, Oct. 2023.
• B. Berggren, A. Fili, and O. Nordberg, "Digital examination in higher education-Experiences from three different perspectives," The International Journal of Education and Development using Information and Communication Technology, vol. 11, p. 100, 2015.
• M. Yağcı, "Çevrimiçi Sınav Ortamlarının Öğrencilerin Akademik Başarılarına Etkisi," e-Journal of New World Sciences Academy, pp. 331-339, 2012.
• M. Ardid, J. A. Gómez-Tejedor, J. Meseguer-Dueñas, J. Riera, and A. Vidaurre, "Online exams for blended assessment. Study of different application methodologies," Computers & Education, pp. 296-303, 2015.
• K. Hylton, Y. Levy, and L. P. Dringus, "Utilizing webcam-based proctoring to deter misconduct in online exams," Computers & Education, pp. 53-63, 2016.
• K. K. Hollister and M. L. Berenson, "Proctored Versus Unproctored Online Exams: Studying the Impact of Exam Environment on Student Performance," Decision Sciences Journal of Innovative Education, pp. 271-294, 2009.
• J. Cramp, J. F. Medlin, P. Lake, and C. Sharp, "Lessons learned from implementing remotely invigilated online exams," Journal of University Teaching & Learning Practice, vol. 16, no. 1, pp. 1-18, 2019. [Online]. Available: https://ro.uow.edu.au/jutlp/vol16/iss1/10/. [Accessed: Oct. 12, 2024].
• A. Yıldırım and H. Şimşek, Sosyal bilimlerde nitel araştırma yöntemleri, 6th ed., Ankara, Turkey: Seçkin Yayıncılık, 2008.
• A. Yıldırım, "Nitel araştırma yöntemlerinin temel özellikleri ve eğitim araştırmalarındaki yeri ve önemi," Eğitim ve Bilim, vol. 23, no. 112, 1999. S. B. Merriam, Nitel Araştırma Desen ve Uygulama İçin Bir Rehber, S. Turan, Ed., Ankara, Turkey: Nobel Yayınları, 2013.
• B. Johnson and L. Christensen, Educational research: quantitative, qualitative and mixed approaches, USA: SAGE Publications, 2014.
• G. Marczyk, D. DeMatteo, and D. Festinger, Essentials Of Research Design And Methodology, New York, NY, USA: John Wiley & Sons Inc, 2005.
• W. F. Shan, M. Huang, and J. Li, "An online examination system supporting user-defined question type," in 2010 2nd International Conference on Education Technology and Computer, vol. 1, pp. V1-109, June 2010.
• A. Rabiee, A. Goel, J. D'Souza, and S. Khanwalkar, "Question-type identification for academic questions in online learning platform," arXiv preprint arXiv:2211.13727, 2022. [Accessed: Oct. 9, 2024].
• S. Gültekin and N. Ç. Demirtaşlı, "Comparing the test information obtained through multiple-choice, open-ended and mixed item tests based on item response theory," Elementary Education Online, vol. 11, no. 1, pp. 251-263, 2012.
• M. Yağcı, H. Ekiz, and S. Gelbal, "Yeni Bir Çevrimiçi Sınav Modeli Geliştirilmesi ve Uygulanması," Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi (KEFAD), vol. 16, no. 1, pp. 269-288, April 2015.
• R. E. Bennet, M. Goodman, J. Hessinger, H. Kahn, J. Ligget, G. Marshall, and J. Zack, "Using multimedia in large-scale computer-based testing programs," Computers in Human Behavior, vol. 15, pp. 283-294, 1999.
• R. E. Mayer, Multimedia Learning, Cambridge, UK: Cambridge University Press, 2009, doi: https://doi.org/10.1017/CBO9780511811678.
• R. E. Mayer, "Multimedia learning: Are we asking the right questions?" Educational Psychologist, pp. 1-19, 1997.
• A. C. Topuz, "Bilgi güvenliğinin sağlanmasına yönelik geliştirilebilecek yazılımsal stratejiler: Online sınav uygulamaları örneği," 2016. [Online]. Available: https://aef.gov.az/upload/Files/qrantlar_uzre_neshrler/eif_kitabrlar/eif_konfrans_2016_informasiya_cemiyyeti.pdf. [Accessed: Sept. 10, 2024].
• C. G. King, R. W. Guyette, and C. Piotrowski, "Online Exams and Cheating: An Empirical Analysis of Business Students’ Views," The Journal of Educators Online, pp. 1-11, 2009.