Öğrenme Analitiği Göstergelerini Raporlayan Açık Erişimli Çevrimiçi Bir Öğrenme Platformunun Kullanılabilirliğinin Değerlendirilmesi

Abstract

Bu çalışmada Sürekli Veri Sağlama Sistemi adlı öğrenme analitiği göstergelerini raporlayan açık erişimli çevrimiçi bir öğrenme platformunun kullanılabilirliğinin değerlendirilmesi amaçlanmıştır. Geliştirilen ortamın kullanılabilirlik çalışması öğrenci, araştırmacı ve yönetici statülerinde olmak üzere toplam 45 kullanıcı katılımı ile gerçekleştirilmiştir. Araştırmacılar tarafından geliştirilen kullanılabilirlik veri toplama aracı ile elde edilen verilerin analizinde betimsel istatistikler ve içerik analizi kullanılmıştır. Kullanılabilirlik testi kapsamında sistemde yapılabilecek işlemlerle ilgili görevleri katılımcıların yapmaları istenmiştir. Bu esnada süreç araştırmacılar tarafından gözlemlenerek her bir görevin katılımcılar tarafından başarıyla gerçekleştirilip gerçekleştirilmediği, tamamlama süreleri ve hata sayıları kayıt altına alınmıştır. Ayrıca katılımcıların demografik bilgileri, katılımcıların likert tipi anket sorularına ve açık uçlu sorulara verdikleri yanıtlar da raporlanmıştır. Sonuç olarak SVSS sisteminin kullanılabilirliğinin yüksek olduğu ancak çeşitli düzetme ve iyileştirmelerin platformun kullanılabilirliğinin artması açısından gerekli olduğu belirlenmiştir. Ortaya çıkan kullanılabilirlik problemleri açıklanmış ve bu problemlerin düzeltilmesine yönelik öneriler sunulmuştur.

Keywords

• Çevrimiçi öğrenme
• öğrenme analitikleri
• öğrenme analitiği raporlama
• kullanılabilirlik
• değerlendirme

Evaluating of the Usability of an Open Access Online Learning Platform Reporting Learning Analytics Indicators

Abstract

This study aims to evaluate the usability of an open-access online learning platform called Continuous Data Delivery System (CDDS) that reports learning analytics indicators. The usability study was carried out with the participation of 45 users, including students, researchers, and administrators. Researchers developed a usability data collection tool. Descriptive statistics and content analysis were used to analyze the obtained data. During the usability test application process, the participants were asked to do the tasks related to the operations that can be done in the system. Meanwhile, the researchers observed the process and whether each task was successfully performed by the participants, completion times, and number of errors were recorded. In addition, the demographic information of the participants, the answers of the participants to the Likert-type survey questions, and open-ended questions were also reported. The results showed that the usability of the CDDSs is high, but various fixes and improvements are necessary in order to increase the usability of the system. The arisen usability problems are explained, and suggestions for correcting these problems are presented.

Keywords

• Online learning
• learning analytics
• learning analytics reporting
• usability
• evaluation

References

1. Abras, C., Maloney-Krichmar, D., & Preece, J. (2004). User-centered design. Bainbridge, W. Encyclopedia of Human-Computer Interaction. Thousand Oaks: Sage Publications, 37(4), 445-456.
2. Andrzejczak, C., & Liu, D. (2010). The effect of testing location on usability testing performance, participant stress levels, and subjective testing experience. Journal of Systems and Software, 83(7), 1258-1266.
3. Baepler, P., & Murdoch, C. J. (2010). Academic analytics and data mining in higher education. International Journal for the Scholarship of Teaching & Learning, 4(2), 267-281.
4. Güyer, T., Yurdugül, H., Somyürek, S., Atasoy, B., Aydoğdu, Ş. (2020) Öğrenme Analitiği Göstergelerini Raporlayan Açık Erişimli Çevrimiçi Bir Öğrenme Platformunun Geliştirilmesi ve Değerlendirilmesi, TUBİTAK 1001 Proje Sonuç Raporu
5. Halawa, S., Greene, D., & Mitchell, J. (2014). Dropout prediction in MOOCs using learner activity features. Proceedings of the second European MOOC stakeholder summit, 37(1), 58-65.
6. Höök, K. (1998). Evaluating the utility and usability of an adaptive hypermedia system. Knowledge-Based Systems, 10(5), 311-319.
7. Keskin, S., Aydın, F., & Yurdugül, H. (2019). Eğitsel Veri Madenciliği ve Öğrenme Analitikleri Bağlamında E-Öğrenme Verilerinde Aykırı Gözlemlerin Belirlenmesi. Eğitim Teknolojisi Kuram ve Uygulama, 9(1), 292-309.
8. LAK (2011). Proceedings of the 1st International Conference on Learning Analytics and Knowledge. Association for Computing Machinery, New York, NY, USA.

9. Liu, A. L., & Nesbit, J. C. (2020). Dashboards for computer-supported collaborative learning. Machine learning paradigms: Advances in learning analytics, 157-182.
10. Lykourentzou, I., Giannoukos, I., Nikolopoulos, V., Mpardis, G., & Loumos, V. (2009). Dropout prediction in e-learning courses through the combination of machine learning techniques. Computers & Education, 53(3), 950-965.
11. Márquez‐Vera, C., Cano, A., Romero, C., Noaman, A. Y. M., Mousa Fardoun, H., & Ventura, S. (2016). Early dropout prediction using data mining: a case study with high school students. Expert Systems, 33(1), 107-124.
12. Martinez-Maldonado, R., Pardo, A., Mirriahi, N., Yacef, K., Kay, J., & Clayphan, A. (2015). The LATUX workflow: designing and deploying awareness tools in technology-enabled learning settings. In Proceedings of the fifth international conference on learning analytics and knowledge (s. 1-10).
13. Matcha, W., Gašević, D., & Pardo, A. (2019). A systematic review of empirical studies on learning analytics dashboards: A self-regulated learning perspective. IEEE transactions on learning technologies, 13(2), 226-245.
14. Nielsen, J. (2012). Usability 101: Introduction to usability. https://www.nngroup.com/articles/usability-101-introduction-to-usability/ adresinden 19.01.2022 tarihinde erişilmiştir.
15. Pardo, A., Jovanovic, J., Dawson, S., Gašević, D., & Mirriahi, N. (2019). Using learning analytics to scale the provision of personalised feedback. British Journal of Educational Technology, 50(1), 128-138.
16. Romero, C., & Ventura, S. (2013). Data mining in education. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 3(1), 12-27.
17. Shneiderman, B. (1997). Human Factors of Interactive Software. Shneiderman,B and Plaisant, C., Ed., Designing the User Interface: Strategies for Effective Human-Computer Interaction, Addison-Wesley, 1-37
18. Shackel, B. (2009). Usability–Context, framework, definition, design and evaluation. Interacting with computers, 21(5-6), 339-346.
19. Siemens, G. & Long, P. (2011). Penetrating the fog: Analytics in learning and education. EDUCAUSE review, 46(5), 30.
20. Siemens, G. & Baker, R. S. D. (2012, April). Learning analytics and educational data mining: towards communication and collaboration. In Proceedings of the 2nd international conference on learning analytics and knowledge (pp. 252-254).
21. Siemens, G. & Gasevic, D. (2012). Guest editorial-learning and knowledge analytics. Journal of Educational Technology & Society, 15(3), 1-2.
22. Somyürek, S. (2009). Student modeling: Recognizing the individual needs of users in e-learning environments. Journal of Human Sciences, 6(2), 429-450.
23. Yeniad, M., Mazman, S. G., Tüzün, H., & Akbal, S. (2011). Bir bölüm web sitesinin otantik görevler ve göz izleme yöntemi aracılığıyla kullanılabilirlik değerlendirmesi. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi, 12(2), 147-173.