Araştırma Makalesi
BibTex RIS Kaynak Göster

Öğrenme Analitiği Göstergelerini Raporlayan Açık Erişimli Çevrimiçi Bir Öğrenme Platformunun Kullanılabilirliğinin Değerlendirilmesi

Yıl 2023, Cilt: 23 Sayı: 4, 1822 - 1843, 15.12.2023
https://doi.org/10.17240/aibuefd.2023..-1182359

Öz

Bu çalışmada Sürekli Veri Sağlama Sistemi adlı öğrenme analitiği göstergelerini raporlayan açık erişimli çevrimiçi bir öğrenme platformunun kullanılabilirliğinin değerlendirilmesi amaçlanmıştır. Geliştirilen ortamın kullanılabilirlik çalışması öğrenci, araştırmacı ve yönetici statülerinde olmak üzere toplam 45 kullanıcı katılımı ile gerçekleştirilmiştir. Araştırmacılar tarafından geliştirilen kullanılabilirlik veri toplama aracı ile elde edilen verilerin analizinde betimsel istatistikler ve içerik analizi kullanılmıştır. Kullanılabilirlik testi kapsamında sistemde yapılabilecek işlemlerle ilgili görevleri katılımcıların yapmaları istenmiştir. Bu esnada süreç araştırmacılar tarafından gözlemlenerek her bir görevin katılımcılar tarafından başarıyla gerçekleştirilip gerçekleştirilmediği, tamamlama süreleri ve hata sayıları kayıt altına alınmıştır. Ayrıca katılımcıların demografik bilgileri, katılımcıların likert tipi anket sorularına ve açık uçlu sorulara verdikleri yanıtlar da raporlanmıştır. Sonuç olarak SVSS sisteminin kullanılabilirliğinin yüksek olduğu ancak çeşitli düzetme ve iyileştirmelerin platformun kullanılabilirliğinin artması açısından gerekli olduğu belirlenmiştir. Ortaya çıkan kullanılabilirlik problemleri açıklanmış ve bu problemlerin düzeltilmesine yönelik öneriler sunulmuştur.

Destekleyen Kurum

TÜBİTAK

Proje Numarası

117R050

Kaynakça

  • Abras, C., Maloney-Krichmar, D., & Preece, J. (2004). User-centered design. Bainbridge, W. Encyclopedia of Human-Computer Interaction. Thousand Oaks: Sage Publications, 37(4), 445-456.
  • Andrzejczak, C., & Liu, D. (2010). The effect of testing location on usability testing performance, participant stress levels, and subjective testing experience. Journal of Systems and Software, 83(7), 1258-1266.
  • Baepler, P., & Murdoch, C. J. (2010). Academic analytics and data mining in higher education. International Journal for the Scholarship of Teaching & Learning, 4(2), 267-281.
  • Güyer, T., Yurdugül, H., Somyürek, S., Atasoy, B., Aydoğdu, Ş. (2020) Öğrenme Analitiği Göstergelerini Raporlayan Açık Erişimli Çevrimiçi Bir Öğrenme Platformunun Geliştirilmesi ve Değerlendirilmesi, TUBİTAK 1001 Proje Sonuç Raporu
  • Halawa, S., Greene, D., & Mitchell, J. (2014). Dropout prediction in MOOCs using learner activity features. Proceedings of the second European MOOC stakeholder summit, 37(1), 58-65.
  • Höök, K. (1998). Evaluating the utility and usability of an adaptive hypermedia system. Knowledge-Based Systems, 10(5), 311-319.
  • Keskin, S., Aydın, F., & Yurdugül, H. (2019). Eğitsel Veri Madenciliği ve Öğrenme Analitikleri Bağlamında E-Öğrenme Verilerinde Aykırı Gözlemlerin Belirlenmesi. Eğitim Teknolojisi Kuram ve Uygulama, 9(1), 292-309.
  • LAK (2011). Proceedings of the 1st International Conference on Learning Analytics and Knowledge. Association for Computing Machinery, New York, NY, USA.
  • Liu, A. L., & Nesbit, J. C. (2020). Dashboards for computer-supported collaborative learning. Machine learning paradigms: Advances in learning analytics, 157-182.
  • Lykourentzou, I., Giannoukos, I., Nikolopoulos, V., Mpardis, G., & Loumos, V. (2009). Dropout prediction in e-learning courses through the combination of machine learning techniques. Computers & Education, 53(3), 950-965.
  • Márquez‐Vera, C., Cano, A., Romero, C., Noaman, A. Y. M., Mousa Fardoun, H., & Ventura, S. (2016). Early dropout prediction using data mining: a case study with high school students. Expert Systems, 33(1), 107-124.
  • Martinez-Maldonado, R., Pardo, A., Mirriahi, N., Yacef, K., Kay, J., & Clayphan, A. (2015). The LATUX workflow: designing and deploying awareness tools in technology-enabled learning settings. In Proceedings of the fifth international conference on learning analytics and knowledge (s. 1-10).
  • Matcha, W., Gašević, D., & Pardo, A. (2019). A systematic review of empirical studies on learning analytics dashboards: A self-regulated learning perspective. IEEE transactions on learning technologies, 13(2), 226-245.
  • Nielsen, J. (2012). Usability 101: Introduction to usability. https://www.nngroup.com/articles/usability-101-introduction-to-usability/ adresinden 19.01.2022 tarihinde erişilmiştir.
  • Pardo, A., Jovanovic, J., Dawson, S., Gašević, D., & Mirriahi, N. (2019). Using learning analytics to scale the provision of personalised feedback. British Journal of Educational Technology, 50(1), 128-138.
  • Romero, C., & Ventura, S. (2013). Data mining in education. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 3(1), 12-27.
  • Shneiderman, B. (1997). Human Factors of Interactive Software. Shneiderman,B and Plaisant, C., Ed., Designing the User Interface: Strategies for Effective Human-Computer Interaction, Addison-Wesley, 1-37
  • Shackel, B. (2009). Usability–Context, framework, definition, design and evaluation. Interacting with computers, 21(5-6), 339-346.
  • Siemens, G. & Long, P. (2011). Penetrating the fog: Analytics in learning and education. EDUCAUSE review, 46(5), 30.
  • Siemens, G. & Baker, R. S. D. (2012, April). Learning analytics and educational data mining: towards communication and collaboration. In Proceedings of the 2nd international conference on learning analytics and knowledge (pp. 252-254).
  • Siemens, G. & Gasevic, D. (2012). Guest editorial-learning and knowledge analytics. Journal of Educational Technology & Society, 15(3), 1-2.
  • Somyürek, S. (2009). Student modeling: Recognizing the individual needs of users in e-learning environments. Journal of Human Sciences, 6(2), 429-450.
  • Yeniad, M., Mazman, S. G., Tüzün, H., & Akbal, S. (2011). Bir bölüm web sitesinin otantik görevler ve göz izleme yöntemi aracılığıyla kullanılabilirlik değerlendirmesi. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi, 12(2), 147-173.

Evaluating of the Usability of an Open Access Online Learning Platform Reporting Learning Analytics Indicators

Yıl 2023, Cilt: 23 Sayı: 4, 1822 - 1843, 15.12.2023
https://doi.org/10.17240/aibuefd.2023..-1182359

Öz

This study aims to evaluate the usability of an open-access online learning platform called Continuous Data Delivery System (CDDS) that reports learning analytics indicators. The usability study was carried out with the participation of 45 users, including students, researchers, and administrators. Researchers developed a usability data collection tool. Descriptive statistics and content analysis were used to analyze the obtained data. During the usability test application process, the participants were asked to do the tasks related to the operations that can be done in the system. Meanwhile, the researchers observed the process and whether each task was successfully performed by the participants, completion times, and number of errors were recorded. In addition, the demographic information of the participants, the answers of the participants to the Likert-type survey questions, and open-ended questions were also reported. The results showed that the usability of the CDDSs is high, but various fixes and improvements are necessary in order to increase the usability of the system. The arisen usability problems are explained, and suggestions for correcting these problems are presented.

Proje Numarası

117R050

Kaynakça

  • Abras, C., Maloney-Krichmar, D., & Preece, J. (2004). User-centered design. Bainbridge, W. Encyclopedia of Human-Computer Interaction. Thousand Oaks: Sage Publications, 37(4), 445-456.
  • Andrzejczak, C., & Liu, D. (2010). The effect of testing location on usability testing performance, participant stress levels, and subjective testing experience. Journal of Systems and Software, 83(7), 1258-1266.
  • Baepler, P., & Murdoch, C. J. (2010). Academic analytics and data mining in higher education. International Journal for the Scholarship of Teaching & Learning, 4(2), 267-281.
  • Güyer, T., Yurdugül, H., Somyürek, S., Atasoy, B., Aydoğdu, Ş. (2020) Öğrenme Analitiği Göstergelerini Raporlayan Açık Erişimli Çevrimiçi Bir Öğrenme Platformunun Geliştirilmesi ve Değerlendirilmesi, TUBİTAK 1001 Proje Sonuç Raporu
  • Halawa, S., Greene, D., & Mitchell, J. (2014). Dropout prediction in MOOCs using learner activity features. Proceedings of the second European MOOC stakeholder summit, 37(1), 58-65.
  • Höök, K. (1998). Evaluating the utility and usability of an adaptive hypermedia system. Knowledge-Based Systems, 10(5), 311-319.
  • Keskin, S., Aydın, F., & Yurdugül, H. (2019). Eğitsel Veri Madenciliği ve Öğrenme Analitikleri Bağlamında E-Öğrenme Verilerinde Aykırı Gözlemlerin Belirlenmesi. Eğitim Teknolojisi Kuram ve Uygulama, 9(1), 292-309.
  • LAK (2011). Proceedings of the 1st International Conference on Learning Analytics and Knowledge. Association for Computing Machinery, New York, NY, USA.
  • Liu, A. L., & Nesbit, J. C. (2020). Dashboards for computer-supported collaborative learning. Machine learning paradigms: Advances in learning analytics, 157-182.
  • Lykourentzou, I., Giannoukos, I., Nikolopoulos, V., Mpardis, G., & Loumos, V. (2009). Dropout prediction in e-learning courses through the combination of machine learning techniques. Computers & Education, 53(3), 950-965.
  • Márquez‐Vera, C., Cano, A., Romero, C., Noaman, A. Y. M., Mousa Fardoun, H., & Ventura, S. (2016). Early dropout prediction using data mining: a case study with high school students. Expert Systems, 33(1), 107-124.
  • Martinez-Maldonado, R., Pardo, A., Mirriahi, N., Yacef, K., Kay, J., & Clayphan, A. (2015). The LATUX workflow: designing and deploying awareness tools in technology-enabled learning settings. In Proceedings of the fifth international conference on learning analytics and knowledge (s. 1-10).
  • Matcha, W., Gašević, D., & Pardo, A. (2019). A systematic review of empirical studies on learning analytics dashboards: A self-regulated learning perspective. IEEE transactions on learning technologies, 13(2), 226-245.
  • Nielsen, J. (2012). Usability 101: Introduction to usability. https://www.nngroup.com/articles/usability-101-introduction-to-usability/ adresinden 19.01.2022 tarihinde erişilmiştir.
  • Pardo, A., Jovanovic, J., Dawson, S., Gašević, D., & Mirriahi, N. (2019). Using learning analytics to scale the provision of personalised feedback. British Journal of Educational Technology, 50(1), 128-138.
  • Romero, C., & Ventura, S. (2013). Data mining in education. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 3(1), 12-27.
  • Shneiderman, B. (1997). Human Factors of Interactive Software. Shneiderman,B and Plaisant, C., Ed., Designing the User Interface: Strategies for Effective Human-Computer Interaction, Addison-Wesley, 1-37
  • Shackel, B. (2009). Usability–Context, framework, definition, design and evaluation. Interacting with computers, 21(5-6), 339-346.
  • Siemens, G. & Long, P. (2011). Penetrating the fog: Analytics in learning and education. EDUCAUSE review, 46(5), 30.
  • Siemens, G. & Baker, R. S. D. (2012, April). Learning analytics and educational data mining: towards communication and collaboration. In Proceedings of the 2nd international conference on learning analytics and knowledge (pp. 252-254).
  • Siemens, G. & Gasevic, D. (2012). Guest editorial-learning and knowledge analytics. Journal of Educational Technology & Society, 15(3), 1-2.
  • Somyürek, S. (2009). Student modeling: Recognizing the individual needs of users in e-learning environments. Journal of Human Sciences, 6(2), 429-450.
  • Yeniad, M., Mazman, S. G., Tüzün, H., & Akbal, S. (2011). Bir bölüm web sitesinin otantik görevler ve göz izleme yöntemi aracılığıyla kullanılabilirlik değerlendirmesi. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi, 12(2), 147-173.
Toplam 23 adet kaynakça vardır.

Ayrıntılar

Birincil Dil Türkçe
Konular Öğretim Teknolojileri, Alan Eğitimleri
Bölüm Makaleler
Yazarlar

Tolga Güyer 0000-0001-9175-5043

Sibel Somyürek 0000-0001-7803-1438

Halil Yurdugül 0000-0001-7856-4664

Furkan Aydın 0000-0003-2471-9725

Ayşenur Gülmez 0000-0003-0666-6295

Proje Numarası 117R050
Erken Görünüm Tarihi 11 Aralık 2023
Yayımlanma Tarihi 15 Aralık 2023
Gönderilme Tarihi 30 Eylül 2022
Yayımlandığı Sayı Yıl 2023 Cilt: 23 Sayı: 4

Kaynak Göster

APA Güyer, T., Somyürek, S., Yurdugül, H., Aydın, F., vd. (2023). Öğrenme Analitiği Göstergelerini Raporlayan Açık Erişimli Çevrimiçi Bir Öğrenme Platformunun Kullanılabilirliğinin Değerlendirilmesi. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 23(4), 1822-1843. https://doi.org/10.17240/aibuefd.2023..-1182359