Uyarlanabilir Zeki Öğretim Sistemleri için Kullanılabilirlik Değerlendirmesi Süreci Tasarım Önerisi: Durum Çalışması

Yıl 2019, Cilt: 10 Sayı: 1, 141 - 179, 30.01.2019

Ali Kürşat Erümit , İsmail Çetin , Mehmet Kokoç Temel Kösa , Vasif Nabiyev , Emine Selin Aygün

https://doi.org/10.17569/tojqi.506439

Cited By: 2

Öz

Bu
çalışmanın amacı, problem çözme öğretimi için tasarlanmış bir uyarlanabilir
zeki öğretim sistemi olan ArtiBos’un kullanılabilirlik değerlendirmesi sürecini
incelemek ve benzer sistemlerin kullanılabilirlik değerlendirmesi süreçlerine
yönelik öneriler sunmaktır. Çalışmaya, 3 farklı ortaöğretim kurumundan seçilen
90 öğrenci ile Bilgisayar ve Öğretim Teknolojileri Eğitimi-Matematik Eğitimi
alanlarından 30 uzman katılmıştır. ArtiBos’un kullanılabilirliği, Uluslararası
Standartlar Enstitüsü (International Standards Organization – ISO) tarafından
yapılan kullanılabilirlik tanımında yer alan etkililik, verimlilik ve
memnuniyet kriterlerine göre değerlendirilmiştir. Çalışmada veri çeşitlemesi
sağlanarak nicel ve nitel veriler birlikte kullanılmıştır. Kullanıcıların
ArtiBos’da istenen görevleri gerçekleştirme süreçlerindeki ekran görüntüleri,
sesli düşünme tekniği (think aloud) sırasında alınan ses kayıtları,
öğrencilerle yapılan görüşmeler ve uzmanların görüşleriyle veriler elde
edilmiştir. Çalışmada, ArtiBos’un kullanılabilirlik testleri süreci detaylı bir
şekilde açıklanmış ve kullanılabilirlik değerlendirme süreçlerine yönelik
öneriler sunulmuştur.  Elde edilen
sonuçların benzer sistemlerin kullanılabilirlik çalışmasını yapmayı planlayan
araştırmacılar için yol gösterici olması hedeflenmektedir.

Anahtar Kelimeler

Kullanılabilirlik, zeki öğretim sistemleri, uzman temelli değerlendirme, deneysel değerlendirme

Designing a Usability Assessment Process for Adaptive Intelligent Tutoring Systems: A Case Study

Öz

This
study aims at examining the usability evaluation process of ArtiBos, an
adaptive intelligent tutoring system specifically designed for teaching of
problem solving, and proposing usability evaluation recommendations
accordingly. The study group consists of 90 students selected from 3 different secondary
education institutions and 30 experts from the fields of Computer Education and
Instructional Technology and Mathematics Teaching. The usability of ArtiBos is
evaluated according to the criteria of effectiveness, efficiency, and
satisfaction included in the definition of usability by the International
Standards Organization (ISO). In this study, quantitative and qualitative data
were used for triangulation. Study data included users’ screenshots during
performance of the instructed tasks in ArtiBos, sound recordings taken from the
think aloud technique, interviews with students, and opinions of experts. The
study elaborates the procedure of usability tests of ArtiBos and makes
suggestions for usability evaluation processes of similar systems. The results
are expected to guide researchers planning to carry out similar systems’
usability studies

Anahtar Kelimeler

Usability, intelligent tutoring systems, expert based evaluation, user based evaluation

Kaynakça

• Acartürk, C., ve Çağıltay, K. (2006). İnsan bilgisayar etkileşimi ve odtü'de yürütülen çalışmalar. Akademik Bilişim, 335-340.
• Al-Bastami, B. G., ve Naser, S. S. A. (2017). Design and development of an ıntelligent tutoring system for c# language. European Academic Research, 4(10), 8795-8809
• Allen, M., Currie, L. M., Bakken, S., Patel, V. L., ve Cimino, J. J. (2006). Heuristic evaluation of paper-based web pages: a simplified inspection usability methodology. Journal of biomedical informatics, 39(4), 412-423.
• Arevalillo-Herráez, M., Marco-Giménez, L., Arnau, D., ve Calero, J. A. G. (2017). Adding sensor-free intention-based affective support to an Intelligent Tutoring System. Knowledge-Based Systems, 132, 85-93.
• Arsoy, S., Kalıpsız, O., ve Öztürk, S. (2013). E-devlet web siteleri için rehber tabanlı kullanılabilirlik değerlendirmesi. Yedinci Ulusal Yazılım Mühendisliği Sempozyumu, 1-9.
• Bailey, G. S. (1993, May). Iterative methodology and designer training in human-computer interface design. In Proceedings of the INTERACT'93 and CHI'93 conference on Human factors in computing systems (pp. 198-205). ACM.
• Baylari, A., ve Montazer, G. A. (2009). Design a personalized e-learning system based on item response theory and artificial neural network approach. Expert Systems with Applications, 36(4), 8013-8021.
• Bayram, S., &veYeni, S. (2011). Web tabanlı eğitsel çoklu ortamların göz izleme tekniği ile kullanışlılık açısından değerlendirilmesi. Ahi Evran Üniversitesi Eğitim Fakültesi Dergisi, 12(2), 221-234.
• Benyon, D. (1993). Adaptive systems: A solution to usability problems. User modeling and User adapted Interaction, 3(1), 65-87.
• Bernacki, M. L., Aleven, V. ve Nokes-Malach, T. J. (2014). Stability and change in adolescents’ task spesific achievement goals and ımplications for learning mathematics with ıntelligent tutors. Computers in Human Behaviour, 37, 73-80.
• Bernacki, M. L., Aleven, V. ve Nokes-Malach, T. J. (2014). Stability and change in adolescents’ task spesific achievement goals and ımplications for learning mathematics with ıntelligent tutors. Computers in Human Behaviour, 37, 73-80.
• Beymer, D., Orton, P. Z., ve Russell, D. M. (2007). An eye tracking study of how pictures ınfluence online reading. IFIP Conference On Human Computer Interaction, 456-460.
• Buscher, G., Dumais, S. T., ve Cutrell, E. (2010). The good, the bad, and the random: an eye tracking study of ad quality in web search. 33rd International ACM SIGIR Conference on Research and Development in Information Retrieval, 42-49.
• Can, G. F., Atalay, K. D., ve Eraslan, E. (2017). Tabletlerin kullanılabilirlik ölçütlerine göre çok kriterli karar verme yaklaşımıyla değerlendirilmesi. Mühendislik Bilimleri ve Tasarım Dergisi, 5(SI), 81-88.
• Card, S. K. (2017). The psychology of human-computer interaction. CRC Press.
• Carroll, J. M. (2003). Introduction: towards a multidisciplinary science of human- computer ınteraction. HCI Models, Theories and Frameworks, 1-9.
• Cengiz, E. (2016). Hacettepe üniversitesi kütüphaneleri web sitesinin kullanılabilirliğinin eğitimle desteklenmesi ve değerlendirilmesi: hacettepe üniversitesi bilgi ve belge yönetimi bölümü öğrencileri üzerine bir çalışma. Türk Kütüphaneciliği, 30(1), 84-95.
• Cevher, E. (2015). Kamu üniversiteleri web sayfalarının kullanılabilirliğinin içerik analizi ile incelenmesi. University of Gaziantep Journal of Social Sciences, 14(2), 387-402.
• Chen, C. M., ve Duh, L. J. (2008). Personalized web-based tutoring system based on fuzzy item response theory. Expert Systems with Applications, 34(4), 2298-2315.
• Chen, C. M., Lee, H. M., ve Chen, Y. H. (2005). Personalized e-learning system using item response theory. Computers & Education, 44(3), 237-255.
• Chughtai, R., Zhang, S., ve Craig, S. D. (2015). Usability evaluation of ıntelligent tutoring system: ıts from a usability perspective. In Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 59(1), 367-371.
• Cockrell, B. J., ve Jayne, E. A. (2002). How do ı find an article? Insights from a web usability study. The Journal of Academic Librarianship, 28(3), 122–132.
• Cutrell, E., ve Guan, Z. (2007). What are you looking for?: an eye-tracking study of ınformation usage in web search. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 407-416.
• Çağıltay, K (2011). İnsan bilgisayar etkileşimi ve kullanılabilirlik mühendisliği: teoriden pratiğe, ODTÜ Yayıncılık, Ankara.
• Çebi, S., Durucu, M., ve Kayhan, B. M. (2013) gençlerin internet kullanım alışkanlıkları ve kullanılabilirlik üzerine bir çalışma: kütüphane web sayfalarının kullanılabilirliği. 19. Ulusal Ergonomi Kongresi, 525-534.
• Çetin, İ., ve Şendurur, E. (2016). Çevrimiçi akademik kaynakların kullanılabilirlik değerlendirmesi. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 1(40), 273-299.
• Dexheimer, J. W., Kurowski, B. G., Anders, S. H., McClanahan, N., Wade, S. L., ve Babcock, L. (2017). Usability evaluation of the smart application for youth with mTBI. International Journal of Medical Informations, 97, 163-170.
• Dimitrova, V. (2003). STyLE-OLM: Interactive open learner modelling. International Journal of Artificial Intelligence in Education, 13(1), 35-78.
• Doğan, N., ve Kubat, B. (2008). Zeki öğretim sistemleri için yeni bir bileşen: düzenleyici modül. International Journal of Informatics Technologies, 1(2). 5-9.
• Dönmez, O., Yaman, F., Şahin, Y. L., ve Yurdakul, I. K. (2016). İşitme engelliler için mobil uygulama geliştirme süreci: Çarkıfelek örneği. Eğitim Teknolojisi Kuram ve Uygulama, 6(1). 20-41.
• Dumas, J. S., Dumas, J. S., ve Redish, J. (1999). A practical guide to usability testing. Intellect books.
• Durmus, S., Çağıltay, K. (2012). Kamu Kurumu Web Siteleri ve Kullanılabilirlik. E-devlet. M. Z. Sobacı, M. Yıldız (Ed.), Kamu yonetimi Ve Teknoloji İliskisinde Guncel Gelismeler içinde (ss. 293-322). Nobel Yayinevi.
• Erdoğdu, F., ve Şahin, S. (2018). Her yerde öğrenme sisteminin kullanılabilirliğine ilişkin öğrenci görüşleri. Karaelmas Eğitim Bilimleri Dergisi, 6(1).
• Gagneux, A., Eglin, V., ve Emptoz, H. (2001). Quality approach of web documents by an evaluation of structure relevance. Proceedings of WDA, 11-14.
• Hertzum, M., Hansen, K. D., ve Andersen, H. H. (2009). Scrutinising usability evaluation: does thinking aloud affect behaviour and mental workload? Behaviour & Information Technology, 28(2), 165-181.
• Hollingsed, T., ve Novick, D. G. (2007, October). Usability inspection methods after 15 years of research and practice. In Proceedings of the 25th annual ACM international conference on Design of communication (pp. 249-255). ACM.
• Hooshyar, D., Ahmad, R. B., Yousefi, M., Fathi, M., Horng, S. J., ve Lim, H. (2016). Applying an online game-based formative assessment in a flowchart-based ıntelligent tutoring system for ımproving problem-solving skills. Computers & Education, 94, 18-36.
• Iqbal, M., ve Ullah, A. (2016). Usability evaluation of hec national digital library website: a qualitative approach. Library Hi Tech News, 33(3). 8-10.
• ISO 9241-11 (1998). Ergonomic Requirements for Office Work with Visual Display Terminals (Vdts) Part 11: Guidance on Usability. International Organization for Standardization, Geneva.
• ISO/IEC 9126-1 (2001). Software Engineering Product Quality -- Part 1: Quality Model. International Organization for Standardization, Geneva.
• Jaspers, M. W. M. (2009). A comparison of usability methods for testing interactive health technologies: Methodological aspects and empirical evidence. International Journal of Medical Informatics, 78, 340-353.
• Jovanović, J., Gašević, D., ve Devedžić, V. (2006). Dynamic assembly of personalized learning content on the semantic web. In European Semantic Web Conference (pp. 545-559). Springer, Berlin, Heidelberg. Kamis (2018). https://kamis.gov.tr/wpcontent/uploads/rehber/Rehber_Bolum6_KullanilabilirlikTestleriveUyulamalari.pdf adresinden 17 Temmuz 2018 tarihinde alınmıştır.
• Khalfallah, J., ve Slama, J. B. H. (2015). Facial expression recognition for ıntelligent tutoring systems in remote laboratories platform. Procedia Computer Science, 73, 274-281.
• Koedinger, K. R., ve Corbett, A. (2006). Cognitive Tutors: Technology Bringing Learning Sciences to the Classroom.
• Kularbphettong, K., Kedsiribut, P., ve Roonrakwit, P. (2015). Developing an adaptive web-based ıntelligent tutoring system using mastery learning technique. Procedia-Social and Behavioral Sciences, 191, 686-691.NA.
• Lazar, J., Feng, J., ve Hochheiser, H. 2010. Research Methods in Human Computer Interaction. Morgan Kaufmann.
• Lee, S., ve Koubek, R. J. (2010). The effects of usability and web design attributes on user preference for e-commerce web sites. Computers in Industry, 61(4), 329-341.
• Lemke, C. (2013). Intelligent adaptive learning: an essential element of 21st century teaching and learning. Bellevue, wa: dreambox learning. http://www.dreambox.com/white papers/intelligent-adaptive-learning-an-essential-element-of-21st-century-teaching-and-learning. adresinden 20.12.2018 tarihinde alınmıştır.
• Lin, H. C. K., Wu, C. H., ve Hsueh, Y. P. (2014). The ınfluence of using affective tutoring system in accounting remedial ınstruction on learning performance and usability. Computers in Human Behaviour, 41, 514-522.
• Magnisalis, I., Demetriadis, S., ve Karakostas, A. (2011). Adaptive and intelligent systems for collaborative learning support: A review of the field. IEEE transactions on Learning Technologies, 4(1), 5-20.
• Myers, B. A., ve Rosson, M. B. (1992). Survey on user ınterface programming. SIGCHI Conference on Human Factors in Computing Systems, 195-202.
• Nielsen, J. (2012). Usability 101: Introduction to usability. https://www.nngroup.com/articles/usability-101-introduction-to-usability/ adresinden 14.08.2017 tarihinde alınmıştır.
• Norman, D. A. (1988). Designing every day things. Currency-Doubleday, New York.
• Olson, J. R., ve Olson, G. M. (1995). The growth of cognitive modeling in human-computer interaction since goms. In Readings in Human–Computer Interaction (pp. 603-625).
• Oyibo, K., Ali, Y. S., ve Vassileva, J. (2016). An empirical analysis of the perception of mobile website ınterfaces and the ınfluence of culture. International Workshop on Personalization, 44-56.
• Özdemir, S., Atasoy, B., ve Somyürek, S. (2007). Bilimsel dergilerin iş süreçleri yönetimini gerçekleştiren bir yazılımın kullanılabilirlik araştırması: türkiye’deki ilk örneğin incelenmesi. Gazi Universtiy Journal of Gazi Educational Faculty 27(2), 57-80.
• Pala, F. K., Arslan, H., ve Özdinç, F. (2017). Eğitim bilişim ağı web sitesinin otantik görevler ve göz izleme ile kullanılabilirliğinin incelenmesi. Ihlara Eğitim Araştırmaları Dergisi, 2(1).
• Papanikolaou, K. A., ve Grigoriadou, M. (2003). An instructional framework supporting personalized learning on the Web. In Advanced learning technologies, 2003. Proceedings. The 3rd IEEE international conference on (pp. 120-124). IEEE.
• Phobun, P., ve Vicheanpanya, J. (2010). Adaptive ıntelligent tutoring systems for e-learning systems. Procedia-Social and Behavioral Sciences, 2(2), 4064-4069.
• Radenkovic, B. L., Despotovic-Zrakic, M. S., Barac, D. M., Bogdanovic, Z. M. ve Milic, A. R. (2011). Web portal for adaptive e-learnnig. In Telecommunication in Modern Satellite Cable and Broadcasting Services, 10th International Conference, 365-368.
• Ramirez-Norigea, A., Juarez-Ramirez, R., ve Martinez-Ramirez, Y. (2017). Evaluation module based on bayesian networks to ıntelligent tutoring systems. Journal of Information Management, 37(1), 1488-1498.
• Reilly, E. D. (2003). Milestones in computer science and information technology. Greenwood Publishing Group: Connecticut, USA.
• Reiners, T., ve Dreher, H. (2009). Culturally-based adaptive learning and concept analytics to guide educational website content ıntegration. Journal of Information Technology Education, 8(1), 125-139.
• Roscoe, R. D., Allen, L. K., Weston, J. L., Crossley, S. A. ve McNamara, D. S. (2014). The writing pal ıntelligent tutoring system: usability testing and development. Computers and Composition, 34, 39-59
• Rubin, J., ve Chisnell, D. (2008). Handbook of Usability Testing: How to Plan, Design and Conduct Effective Tests. John Wiley & Sons.
• Sanchez, R. P., Bartel, C. M., Brown, E., ve DeRosier. M. (2014). The acceptability and efficacy of an ıntelligent tutoring system. Computers&Education, 78, 321-332.
• Sezer, İ. (2011). Hipermedya sistemlerinde uyarlanabilir ve uyarlanır metotları karşılaştırma ve yabancı dil öğretiminde örnek bir araç geliştirme. Yüksek Lisans Tezi, Gazi Üniversitesi, 100s (yayınlanmamış). (Tez No: 285490).
• Shneiderman, B. (2010). Designing the User Interface: Strategies for Effective Human-Computer Interaction. Pearson Education India.
• Siemer, J., ve Angelides, M. C. (1998). A comprehensive method for the evaluation of complete ıntelligent tutoring systems. Decision Support Systems, 22(1), 85-102.
• Triantafillou, E., Pomportsis, A. ve Georgiadou, E. (2003). AES-CS: adaptive educational system based on cognitive styles. Computers & Education, 41(1), 87-103.
• Tuna, G., ve Öztürk, A. (2015). Zeki ve uyarlanabilir e-öğrenme ortamları. International Distance Education Conference 2015 – September 2-4, St. Petersburg, Rusia
• Verkuyl, M., Atack, L., Mastrilli, P., ve Romaniuk, D. (2016). Virtual gaming to develop student’s pediatric nursing skills: a usability test. Nurse Education Today, 46, 81-85.
• Victorio-Meza, H., Mejia-Lavalle, M., ve Ortiz, G. R. (2014). Advances on knowledge representation of ıntelligent tutoring systems. In Mechatronics, Electronics and Automotive Engineering International Conference, 212-216.
• Vos, H. J. (1995). Applications of bayesian decision theory to ıntelligent tutoring systems. Computers in Human Behaviour, 11(1), 149-162.
• Weber, G., ve Brusilovsky, P. (2001). ELM-ART: An adaptive versatile system for Web-based instruction. International Journal of Artificial Intelligence in Education (IJAIED), 12, 351-384.
• Yavuz, İ., Çınar, N. Ö., ve Çağıltay, K. (2016). Kamu internet sitelerinde yer alan arama alanlarının kullanılabilirliği ve buna yönelik kullanıcı davranışlarının belirlenmesi. International Journal Of Informatics Technologies, 9(1), 41.
• Zviran, M., Glezer, C., ve Avni, I. (2006). User satisfaction from commercial web sites: the effect of design and use. Information & Management, 43(2), 157-178.