Design and Use of Chatbots for Educational Purposes: A Study on Student Opinions

Year 2023, , 76 - 83, 31.12.2023

Ahmet Yusuf Cevher , Serkan Yıldırım

https://doi.org/10.5281/zenodo.10445240

Abstract

Rapid developments in information and communication technologies have caused significant changes in the field of education. Among these changes, the role of artificial intelligence-based chatbots in education is increasing. This study aims to reveal the issues that need to be taken into consideration in the design of chat robots used for educational purposes by discussing student opinions and experiences about the design and use of chat robots. In the study, the case study research method, one of the qualitative designs, was used as the research method. The sample of the research was selected by purposeful sampling method, and the sample group consists of students taking the English Culture II course from Ardahan University, Faculty of Humanities and Letters, Department of Western Languages and Literatures, Department of English Language and Literature. At the end of the experimental period determined during two-course weeks, eight of the students (2 boys, and 6 girls) who took the course volunteered to participate in the focus group interview. The data of the participants were collected using the focus group interview technique. The content analysis method was applied to the data obtained. As a result of the study, it was revealed that chatbots were generally easy to use by students and their interface design was evaluated positively. Students find chatbots to be an effective tool for answering questions about course content. Positive features such as ease of use, quick answers, and clarity contribute to students developing a positive attitude towards this technology. The lack of naturalness of the chatbots' answers, the inability to understand spelling errors, and the failure to indicate the sources of the answers caused students to develop negative opinions about the answers given by the chatbots on extracurricular topics. Students think that chatbots should strengthen their knowledge base with more sources and source citations. Additionally, some of the students wanted chatbots to be usable outside the course content.

Keywords

Chatbot, qualitative design, student opinions

Ethical Statement

Ethics committee approval document was obtained from Atatürk University.

Supporting Institution

In this study, the data of the project numbered "SDK-2022-10513" supported by Atatürk University Scientific Research Projects Coordination Unit were utilized.

Project Number

SDK-2022-10513

Eğitim Amaçlı Sohbet Robotlarının Tasarımı ve Kullanımı: Öğrenci Görüşleri Üzerine Bir Çalışma

Abstract

Bilgi ve iletişim teknolojilerindeki hızlı gelişmeler arasında yapay zekâ temelli sohbet robotlarının eğitimdeki rolü giderek artmaktadır. Bu çalışmada sohbet robotlarının tasarımı ve kullanımı hakkında öğrenci görüşleri ve deneyimlerinin ele alınarak eğitim amaçlı kullanılan sohbet robotlarının tasarımında dikkat edilmesi gerekilen hususların ortaya çıkarılması amaçlanmaktadır. Çalışmada araştırma yöntemi olarak nitel desenlerden biri olan örnek olay araştırması yönteminden faydalanılmıştır. Araştırmanın örneklemi amaçlı örnekleme yöntemiyle seçilmiş olup, örnek grubunu Ardahan Üniversitesi İnsani Bilimler ve Edebiyat Fakültesi Batı Dilleri ve Edebiyatları Bölümü İngiliz Dili ve Edebiyatı Anabilim Dalı İngiliz Kültürü II dersini alan öğrenciler oluşturmaktadır. İki ders haftası boyunca belirlenen deney süresi sonunda dersi alan öğrencilerden sekizi (2 Erkek, 6 Kız) odak grup görüşmesine katılmaya gönüllü olmuşlardır. Katılımcılara ait veriler odak grup görüşme tekniği kullanılarak toplanmıştır. Elde edilen verilere içerik analizi yöntemi uygulanmıştır. Çalışmanın sonucunda, sohbet robotlarının öğrenciler tarafından genel olarak kullanımının kolay ve arayüz tasarımının olumlu olarak değerlendirildiği ortaya çıkmıştır. Öğrenciler, sohbet robotlarını ders içeriğiyle ilgili soruları yanıtlamak için etkili bir araç olarak görmektedir. Kullanım kolaylığı, hızlı cevaplar ve netlik gibi pozitif özellikler, öğrencilerin bu teknolojiye olumlu bir tutum geliştirmesine katkıda bulunmaktadır. Sohbet robotlarının cevapların doğallığının eksikliği, yazım hatalarını anlayamama ve cevapların kaynaklarını belirtmeme nedeniyle öğrencilerin ders dışı konularda sohbet robotlarının verdiği cevaplar konusunda olumsuz görüş geliştirmelerine neden olmuştur. Öğrenciler, sohbet robotlarının bilgi tabanını daha fazla kaynak ve kaynak atıfıyla güçlendirmeleri gerektiğini düşünmektedirler. Ayrıca, öğrencilerin bir kısmı, sohbet robotlarının ders içeriği dışında da kullanılabilir olmasını istemişlerdir.

Keywords

Sohbet robotu, nitel desen, öğrenci görüşleri

Ethical Statement

Etik kurul onay belgesi Atatürk Üniversitesi'nden temin edilmiştir.

Supporting Institution

Bu çalışmada, Atatürk Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimi tarafından desteklenen “SDK-2022-10513” nolu projeye ait verilerden faydalanılmıştır.

Project Number

SDK-2022-10513

References

• M. Farrokhnia, S.K. Banihashem, O. Noroozi & A. Wals, “A SWOT analysis of ChatGPT: Implications for educational practice and research”, Innovations in Education and Teaching International, pp. 1–15, 2023.
• E. Adamopoulou & L. Moussiades, “Chatbots: History, technology, and applications”, Machine Learning with Applications, vol. 2, 100006, 2020.
• L. Reznik, “General Principles and Purposes of Computational Intelligence”, Systems Science and Cybernetics-vol. 3, 198, 2009.
• M. Nuruzzaman & O. K. Hussain, “A survey on chatbot implementation in customer service industry through deep neural networks”, presented at the 2018 IEEE 15th International Conference on e-Business Engineering, pp. 54-61, Oct. 2018.
• H. Y. Shum, X. D. He & D. Li, “From Eliza to XiaoIce: challenges and opportunities with social chatbots”, Frontiers of Information Technology & Electronic Engineering, vol. 19, no 1, pp. 10-26, 2018.
• K. Nimavat & T. Champaneria, “Chatbots: An overview types, architecture, tools and future possibilities”, International Journal for Scientific Research & Development, vol. 5, no 7, pp. 1019-1024, 2017.
• W. Huang, K. F. Hew & L.K. Fryer, “Chatbots for language learning–Are they really useful? A systematic review of chatbot-supported language learning”, Journal of Computer Assisted Learning, vol. 38, no 1, pp. 237–257, 2022.
• G. J. Hwang & C. Y. Chang, “A review of opportunities and challenges of chatbots in education”, Interactive Learning Environments, 2021.
• M. A. Kuhail, N. Alturki, S. Alramlawi & K. Alhejori, K, “Interacting with educational chatbots: A systematic review”, Education and Information Technologies, vol. 28, pp. 973–1018, 2022.
• Q. J. Pérez, T. Daradoumis & J. M. M. Puig, “Rediscovering the use of Chatbots in education: A systematic literature review”, Computer Applications in Engineering Education, vol. 28, no 6, pp. 1549-1565, 2020
• R. Winkler & M. Sollner, “Unleashing the Potential of Chatbots in Education: A State-Of-TheArt Analysis”, Academy of Management Annual Meeting (AOM), vol. 1, pp. 15903, 2018
• S. Hobert & R. M. Wolff, “Say Hello to Your New Automated Tutor- A Structured Literature Review on Pedagogical Conversational Agents”. presented at the 14th International Conference on Wirtschaftsinformatik, Germany, February 2019.
• A. L. Baylor, “The design of motivational agents and avatars”, Educational Technology Research and Development, vol. 59, no 2, pp. 291-300, 2011.
• T. Belpaeme, P. Vogt, R. Van den Berghe, K. Bergmann, T. Göksun, M. De Haas & A. K. Pandey, “Guidelines for designing social robots as second language tutors”, International Journal of Social Robotics, vol. 10, pp. 325-341, 2018.
• E. Vázquez Cano, S. Mengual Andrés and E. López Meneses, “Chatbot to improve learning punctuation in Spanish and to enhance open and flexible learning environments”, International Journal of Educational Technology in Higher Education, vol. 38, pp. 237-257, 2021.
• J. Jeon, “Exploring AI chatbot affordances in the EFL classroom: Young learners’ experiences and perspectives”, Computer Assisted Language Learning, pp. 1-26, 2021.
• A. Deveci Topal, C. Dilek Eren & A. Kolburan Geçer, “Chatbot application in a 5th grade science course”, Education and Information Technologies, vol. 26, no 5, pp. 6241-6265, 2021.
• M. Fırat, “Öğrenci Destek Servislerinde Doğal Dil İşleme: Gpt-3 Örneği”, presented at the 12th ICoSReSSE International Conference of Strategic Research in Social Science and Education, 10-13 December 2020.
• A. Bozkurt, “Generative artificial intelligence (AI) powered conversational educational agents: The inevitable paradigm shift” Asian Journal of Distance Education, vol. 18, no 1, 2023.
• A. Yıldırım & H. Şimşek, Sosyal Bilimlerde Nitel Araştırma Yöntemleri, (9. Baskı), Ankara, Türkiye: Seçkin Yayıncılık, 2013.
• Ş. Büyüköztürk, E. Kılıç-Çakmak, Ö. Akgün, Ş. Karadeniz & F. Demirel, Bilimsel Araştırma Yöntemleri, (17. Baskı), Ankara, Türkiye: Pegem Akademi, 2014.
• L. Kohnke, “L2 learners' perceptions of a chatbot as a potential independent language learning tool”, International Journal of Mobile Learning and Organisation, vol. 17, no 1-2, 214-226, 2023.
• T. K. Chiu, B. L. Moorhouse, C. S. Chai, & M. Ismailov, “Teacher support and student motivation to learn with Artificial Intelligence (AI) based chatbot”, Interactive Learning Environments, pp. 1-17, 2023.
• D. Lee & S. Yeo, “Developing an AI-based chatbot for practicing responsive teaching in mathematics”, Computers & Education, vol. 191, 104646, 2022.