Evaluating the Usability of a Virtual Classroom Application from the Educator Perspective

Yıl 2024, , 46 - 65, 24.06.2024

Alper Şimşek , Şeval Bilgi Batar , Mustafa Serdar Saypınar , Feyzanur Çakmak

https://doi.org/10.52826/mcbuefd.1373470

Öz

The purpose of this research is to reveal the usability of virtual classroom application, which is used for synchronous lessons, in terms of effectiveness, efficiency, and satisfaction. A user-based approach was applied in order to collect quantitative data in this mixed method research. The effectiveness and efficiency of the system were revealed on the basis of 13 authentic tasks considering the status of the instructors performing the tasks, the number of critical mistakes they made during the tasks, and the time they spent on completing the tasks. The satisfaction of instructors with the virtual classroom application was determined through the SUS-satisfaction scale, observations during user tests, and interviews. A total of 12 instructors were in the data collection process. According to the findings, the completion rate of two of the seven tasks was over 90%. However, the successful completion rate of the total of six tasks was limited to 20%. It was also determined that the number of errors in the remaining 11 tasks exceeded the ideal number of operations and the completion periods were considerably longer. Overall results of the study revealed that the educator satisfaction levels for the Adobe Connect virtual classroom application were quite low.

Anahtar Kelimeler

Usability, User-based approach, virtual classroom, user satisfaction

Eğitici Perspektifinde Bir Sanal Sınıf Uygulamasının Kullanılabilirliğinin Değerlendirilmesi

Öz

Bu araştırmanın amacı, Covid-19 salgın döneminde uzaktan eğitim faaliyetlerinde eş zamanlı dersler için kullanılan sanal sınıf uygulamasının kullanılabilirliğini etkililik, verimlilik ve memnuniyet bağlamında ortaya koymaktır. Karma yöntemle pilot ve asıl uygulama şeklinde yürütülen araştırmada, nicel verilerin toplanması amacıyla kullanılabilirlik yaklaşımlarından biri olan kullanıcı temelli yaklaşım uygulanmıştır. 13 otantik görev üzerinden eğiticilerin görevi gerçekleştirme durumları, görev sırasında yaptıkları kritik hata sayıları ve görevin tamamlanmasında harcadıkları süre temel alınarak sistemin etkililik ve verimliliği ortaya koyulmaya çalışılmıştır. Sanal sınıf uygulamasına yönelik eğitici memnuniyetleri ise alanyazında sıkça kullanılan SUS-memnuniyet ölçeği, kullanıcı testleri sırasındaki gözlemler, uygulama öncesi ve sonrasında gerçekleştirilen görüşmeler yoluyla belirlenmiştir. Araştırma sürecine uzaktan eğitim derslerinde Adobe Connect sanal sınıf uygulamasını kullanan toplam 14 (7 kadın, 7 erkek) eğitici dahil edilmiştir. Elde edilen bulgular, zorluk derecesi kolay olarak değerlendirilen yedi görevden ikisinin tamamlanma oranının %90'ı aştığını, zor olarak nitelendirilen altı görevin başarıyla tamamlanma oranının ise yaklaşık %20 ile sınırlı kaldığını ortaya koymuştur. Kalan on bir görevdeki hata sayısının ideal işlem sayısını aştığı ve tamamlama sürelerinin oldukça uzun olduğu da tespit edilmiştir. Çalışmanın genel sonuçları, Adobe Connect sanal sınıf uygulamasına yönelik eğitimci memnuniyet düzeylerinin oldukça düşük olduğunu ortaya koymuştur.

Anahtar Kelimeler

Kullanılabilirlik, Kullanıcı Tabanlı Yaklaşım, Sanal Sınıf, Kullanıcı Memnuniyeti

Kaynakça

• Almaiah, M. A., Al-Khasawneh, A., & Althunibat, A. (2020). Exploring the critical challenges and factors influencing the E-learning system usage during COVID-19 pandemic. Education and Information Technologies, 25(6), 5261-5280. https://doi.org/10.1007/s10639-020-10219-y.
• Almarashdeh, I. (2016). Sharing instructors experience of learning management system: A technology perspective of user satisfaction in distance learning course. Computers in Human Behavior, 63(2016), 249-255. https://doi.org/10.1016/j.chb.2016.05.013.
• Almas, M., Machumu, H., & Zhu, C. (2021). Instructors’ perspectives, motivational factors and competence in the use of an e-learning system in a Tanzanian University. International Journal of Education and Development using Information and Communication Technology (IJEDICT), 17(2), 76-95.
• Ateş, V., & Karacan, H. (2010). Abant İzzet Baysal Üniversitesi web sitesi kullanılabilirlik analizi. Bilişim Teknolojileri Dergisi, 2(2), 33-38.
• Babuçoğlu, B. (2006). İnternet destekli olarak sunulan muhasebe uygulamaları dersinde ögrenci memnuniyetinin ölçülmesi: Özel İnci Anadolum Açıkögretim kursunda bir uygulama. Yayımlanmamış Yüksek Lisans Tezi. Anadolu Üniversitesi, Sosyal Bilimler Enstitüsü, Eskişehir.
• Bailey, B. (2006). Getting the Complete Picture with Usability Testing. Retrieved from: https://www.usability.gov/get-involved/blog/2006/03/complete-picture-with-usability-testing.html
• Baki, A., & Gökçek, T. (2012). Karma yöntem araştırmalarına genel bir bakış. Elektronik Sosyal Bilimler Dergisi, 11(42), 1-21.
• Bayram, S., & Yeni, S. (2011). Web tabanlı eğitsel çoklu ortamların göz izleme tekniği ile kullanışlılık açısından değerlendirilmesi. Ahi Evran Üniversitesi Eğitim Fakültesi Dergisi, 12(2), 221-234.
• Belt, E.S., & Lowenthal, P.R. (2023). Synchronous video-based communication and online learning: An exploration of instructors’ perceptions and experiences. Educ Inf Technol, 28, 4941-4964. https://doi.org/10.1007/s10639-022-11360-6
• Birogul, S., Özkaraca, O., Isik, A., & Karacı, A. (2010). Web tabanlı eş zamanlı (senkron) uzaktan eğitim sistemlerinin karşılaştırmalı analizi. XII Academic Informatics Conference, Muğla, Turkey.
• Bossman, A., & Agyei, S.K. (2022). Technology and instructor dimensions, e-learning satisfaction, and academic performance of distance students in Ghana. Heliyon, 8 (4), e09200. https://doi.org/10.1016/j.heliyon.2022.e09200.
• Brooke, J. (1996). SUS: A quick and dirty usability scale. In Jordan, P.W., Thomas, B., Weerdmeester, B. A., McClelland, I. L. (Eds.), Usability Evaluation in Industry (pp. 189-194). London: Taylor & Francis. Brooke, j. (2013). SUS: A Retrospective. Journal of Usability Studies, 8(2), 29-40.
• Bulun, M., Gülnar, B., & Güran, S. (2004). Eğitimde mobil teknolojiler. TOJET: The Turkish Online Journal of Educational Technology, 3(2), 165-169.
• Caliskan, S., Kurbanov, R. A., Platonova, R. I., Ishmuradova, A. M., Vasbieva, D. G. ve Merenkova, I. V. (2020). Lecturers views of online instructors about distance education and adobe connect. International Journal Of Emergıng Technologies in Learning, 15(23), 145–157. doi:10.3991/ijet.v15i23.18807
• Camilleri, M. A., & Camilleri, A. C. (2022). The acceptance of learning management systems and video conferencing technologies: Lessons learned from COVID-19. Technology, Knowledge and Learning, 27(4), 1311-1333.
• Cheng, Y.M. (2020). Students' satisfaction and continuance intention of the cloud-based e-learning system: Roles of interactivity and course quality factors. Education + Training, 62 (9), 1037-1059. https://doi.org/10.1108/ET-10-2019-0245.
• Cigdem, H., & Topcu, A. (2015). Predictors of instructors’ behavioral intention to use learning management system: A Turkish vocational college example. Computers in Human Behavior, 52 (2015), 22-28. https://doi.org/10.1016/j.chb.2015.05.049.
• Creswell, J. W. (2012). Educational research: planning, conducting, and evaluating quantitative and qualitative research (4th ed.). USA: Pearson Education Inc.
• Çağıltay, K. (2018). Teoriden pratiğe insan bilgisayar etkileşimi ve kullanılabilirlik mühendisliği (2nd ed.). Ankara: Seçkin Yayıncılık.
• Çalışkan, Ş. (2019). Çevrimiçi öğrenme ortamının kullanılabilirlik analizi ve etkililiği: Ahmet Yesevi Üniversitesi örneği. Yayımlanmamış Yüksek Lisans Tezi. Necmettin Erbakan Üniversitesi, Eğitim Bilimleri Enstitüsü, Konya.
• Çoban, S. (2016). Üniversitelerde öğretim yönetim sistemleri yazılımları kullanımına yönelik bir inceleme. Batman Üniversitesi Yaşam Bilimleri Dergisi, 6(1), 1-12.
• Dalcı, M., Alçam, Ö., Saatçioğlu, Y. O., & Erdal, F. (2008). ODTÜ Kütüphanesi yeni web sayfasının tasarımı ve kullanılabilirlik çalışması. Akademik Bilişim, Çanakkale, Türkiye.
• Demir, M. (2013). Eğitim fakültesi öğrencilerinin e-öğrenme araçlarını kabul düzeylerinin çeşitli değişkenler açısından incelenmesi. Yayımlanmamış Yüksek Lisans Tezi. Sakarya Üniversitesi, Eğitim Bilimleri Enstitüsü, Sakarya.
• Demirkol, D., & Şeneler, Ç. (2018). A Turkish translation of the system usability scale: The SUS-TR. Uşak Üniversitesi Sosyal Bilimler Dergisi, 11 (3), 237-253. http://dx.doi.org/10.29217/uujss.495.
• Dikbaş Torun, E. (2013). Synchronous interaction in online learning environments with Adobe Connect Pro. Procedia - Social and Behavioral Sciences. 106(2013), 2492-2499. https://doi.org/10.1016/j.sbspro.2013.12.286
• Dreheeb, AE., Basir, N., & Fabil, N. (2016). Impact of system quality on users’ satisfaction in continuation of the use of e-learning system. International Journal of e-Education, e-Business, e-Management and e-Learning, 6(1), 13-20. doi: 10.17706/ijeeee.2016.6.1.13-20.
• Duman, S. N. (2020). Salgın döneminde gerçekleştirilen uzaktan eğitim sürecinin değerlendirilmesi. Milli Eğitim Dergisi, 49(1), 95-112.
• Erdoğdu, F., Kokoç, M., Pinal, E., Bilgi, Ş., & Murat, Z. (2015). Investigation of an online learning environment in terms of usability. Participatory Educational Research, 2(3), 55-66.
• Freeze, R. D., Alshare, K. A., Lane, P. L. & Wen, H. J. (2010). IS success model in e-learning context based on students' perceptions. Journal of Information Systems Education, 21(2), 173-184.
• Gulbahar, Y., & Kalelioglu, F. (2015). Competencies for e-instructors: How to qualify and guarantee sustainability. Contemporary Educational Technology, 6(2), 140-154.
• Gumussoy, C. A., Pekpazar, A., Esengun, M., Bayraktaroglu, A. E., & Ince, G. (2022) Usability evaluation of TV interfaces: Subjective evaluation vs. objective evaluation. International Journal of Human–Computer Interaction, 38(7), 661-679. doi: 10.1080/10447318.2021.1960093
• Hogan, R., & Devi, M. (2019). A synchronous pedagogy to improve online student success. International Journal of Online Pedagogy and Course Design, 9(3), 61-77. https://doi.org/10.4018/IJOPCD.2019070105
• Horzum, F. (2019). Çevrimiçi öğrenmeye yönelik hazırbulunuşluk ile algılanan engeller arasındaki ilişkinin incelenmesi: Sakarya Üniversitesi pedagojik formasyon örneği. Yayımlanmamış Yüksek Lisans Tezi. Sakarya Üniveristesi, Eğitim Bilimleri Enstitüsü, Sakarya.
• Hussein, E., Daoud, S., Alrabaiah, H., & Badawi, R. (2020). Exploring undergraduate students’ attitudes towards emergency online learning during COVID-19: A case from the UAE. Children and Youth Services Review, 119 (November), 105699. https:// doi.org/10.1016/j.childyouth.2020.105699.
• Ilgaz, H. (2018). Bireysel farklılıklar kapsamında çevrimiçi öğrenme araştırmalarına ilişkin sistematik bir derleme. Kuramsal Eğitimbilim Dergisi, 11(4), 1003-1018.
• International Organization for Standardization (ISO) (2018). Ergonomics of human-system interaction - Part 11: Usability: Definitions and concepts. Retrieved from: https://www.iso.org/obp/ui/#iso:std:iso:9241:-11:ed-2:v1:en
• İzmirli, S., & Akyüz, H. İ. (2017). Eş zamanlı sanal sınıf yazılımlarının incelenmesi. Eğitimde Kuram ve Uygulama, 13(4), 788-810.
• Kaysi, F., & Aydemir, E. (2017). Uzaktan eğitim süreçlerindeki etkileşim boyutlarının değerlendirilmesi. The Journal of Social Science, 4(11), 778-790.
• Khalid, M. S., & Hossan, M. I. (2016). Usability evaluation of a video conferencing system in a university's classroom. 19th International Conference on Computer and Information Technology (ICCIT), Dhaka, Bangladesh.
• Kim, S.H., & Park, S. (2021). Influence of learning flow and distance e-learning satisfaction on learning outcomes and the moderated mediation effect of social-evaluative anxiety in nursing college students during the COVID-19 pandemic: A cross-sectional study. Nurse Education in Practice, 56 (2021). doi.org/10.1016/j.nepr.2021.103197
• Kohnke, L., Zou, D., & Zhang, R. (2023). Zoom supported emergency remote teaching and learning in teacher education: A case study from Hong Kong. Knowledge Management & E-Learning, 15(2), 192-213. https://doi.org/10.34105/j.kmel.2023.15.011
• Koohang, A. (2004). A study of users’ perceptions toward online learning courseware usability. International Journal on Online learning, 3(2), 10­17.
• Kortum, P., & Peres, S. C. (2014) The relationship between system effectiveness and subjective usability scores using the system usability scale. International Journal of Human-Computer Interaction, 30(7), 575-584. doi: 10.1080/10447318.2014.904177
• Magableh, M., & Alia, M. (2021). Evaluation online learning of undergraduate students under lockdown amidst COVID-19 Pandemic: The online learning experience and students’ satisfaction. Children and Youth Services Review, 128 (2021), 106160. https://doi.org/10.1016/j.childyouth.2021.106160
• Meiselwitz, G., & Sadera, W. (2008). Investigating the connection between usability and learning outcomes in online learning environments. Journal of Online Learning and Teaching, 4(2), 234-42.
• Nielsen, J. (1994). Usability inspection methods. Retrieved from: https://rauterberg.employee.id.tue.nl/lecturenotes/0H420/Nielsen%5B1994%5D.pdf
• Nielsen, J., & Nielsen, J. (2000). Designing web usability (Vol. 26). Indianapolis, IN: New riders.
• Nuguyen, N. (2020). A study on satisfaction of users towards learning management system at International Universitye Vietnam National University HCMC. Asia Pasific Management Review, 26(4), 186-196. https://doi.org/10.1016/j.apmrv.2021.02.001
• Özçelik, E., Kurşun, E., & Çağıltay, K. (2006). Göz hareketlerini izleme yöntemiyle üniversite web sayfalarının incelenmesi. Akademik Bilişim, Denizli, Turkey.
• Pala, F.K., Arslan, H., & Özdinç, F. (2017). Eğitim bilişim ağı web sitesinin otantik görevler ve göz izleme ile kullanılabilirliğinin incelenmesi. IHEAD, 2(1), 24-38. e-ISSN 2528-9632.
• Parkes, M., Reading, C., & Stein, S. (2013). The competencies required for effective performance in a university e-learning environment. Australasian Journal of Educational Technology, 29(6). https://doi.org/10.14742/ajet.38
• Sauro, J. (2011). A practical guide to measuring usability. Retrieved from: https://measuringu.com/wp-content/uploads/2017/05/QuantitativeUsabilityTestOnline.pdf
• Shneiderman, B. (3rd Ed.) (1998). Designing the user interface. MA: Addison Wesley.
• Şahin, E., & Nihan, A. (2019). Atatürk ilkeleri ve inkılap tarihi dersinin uzaktan eğitim yoluyla öğretilmesi hakkında öğretim elemanlarının görüşleri. Gazi Üniversitesi Gazi Eğitim Fakültesi Dergisi, 39(1), 477-502. https://doi.org/10.17152/gefad.429656.
• Şengel, E. & Özdemir, S. (2012). Web Siteleri için Kullanılabilirlik Ölçümleri. Bursa: Ekin.
• Turan, O. S., & Canal, M. R. (2011). Öğrenme yönetim sistemi kullanılabilirlik incelemesi; Gazi İngilizce Dil Okulu örneği. Bilişim Teknolojileri Dergisi, 4(3), 47-52.
• Xue, S., Wang, C., & Yang, Y. (2022). Exploring affecting factors of and developing a framework for teachers’ online instruction. Learning and Instruction, 82 (2022), 101665. https://doi.org/10.1016/j.learninstruc.2022.101665.
• Yeniad, M., Güzin Nazman, S., Tüzün H., & Akbal, S. (2011). Bir bölüm web sitesinin otantik görevler ve göz izleme yöntemi aracılığıyla kullanılabilirlik değerlendirmesi. Ahi Evran Üniversitesi Eğitim Fakültesi Dergisi, 12(2), 147-173.