Digital Student Services: Intelligent Chatbot Systems Supported by Artificial Intelligence and Rag Model

Abstract

The integration of digitalization and Artificial Intelligence in higher education has transformed student services, necessitating intelligent and responsive solutions. Traditional administrative processes often face inefficiencies and delays, leading to student dissatisfaction. AI-driven chatbots powered by Large Language Models (LLMs) and Natural Language Processing (NLP) offer a promising alternative, yet conventional rule-based models lack real-time adaptability. This study develops a chatbot using the Retrieval-Augmented Generation (RAG) model, enhancing response accuracy through real-time information retrieval. Initial interviews with 20 students guided the chatbot’s design, while post-deployment evaluation with 40 students assessed response quality, reliability, and usability. Integrated into the university’s student affairs portal and mobile application, the chatbot improves service accessibility and student engagement. Findings suggest enhanced accuracy, efficiency, and user satisfaction, contributing to the digital transformation of university services and demonstrating the potential of AI-driven chatbots in higher education.

Keywords

• Artificial Intelligence
• Large Language Models
• Retrieval-Augmented Generation

Supporting Institution

This study was supported by Ankara Yıldırım Beyazıt University Scientific Research Projects Coordination Unit under project number 2764.

Project Number

2764

Ethical Statement

This study was approved by the Social and Humanities Sciences Ethics Committee of Ankara Yıldırım Beyazıt University, and informed voluntary consent was obtained from all participants.

Dijital Öğrenci Hizmetleri: Yapay Zekâ ve RAG Modeli Destekli Akıllı Sohbet Robotu Sistemleri

Abstract

Yükseköğretimde dijitalleşme ve yapay zekâ teknolojilerinin bütünleşmesi, öğrenci hizmetlerini dönüştürmüş; bu alanda akıllı, hızlı yanıt verebilen ve kullanıcı odaklı çözümlere duyulan gereksinimi artırmıştır. Geleneksel idari süreçlerde sıklıkla karşılaşılan verimsizlikler ve gecikmeler, öğrencilerin hizmetlerden memnuniyet düzeyini olumsuz etkileyebilmektedir. Büyük Dil Modelleri ve Doğal Dil İşleme teknikleriyle desteklenen yapay zekâ tabanlı sohbet robotları bu sorunlara yönelik önemli bir alternatif sunmakla birlikte, klasik kural tabanlı modeller gerçek zamanlı uyum sağlama açısından sınırlılıklar taşımaktadır. Bu çalışma kapsamında, yanıt doğruluğunu gerçek zamanlı bilgi erişimi yoluyla artıran Retrieval-Augmented Generation modeline dayalı bir sohbet robotu geliştirilmiştir. Sohbet robotunun tasarım süreci, 20 öğrenciyle gerçekleştirilen ön görüşmeler doğrultusunda şekillendirilmiş; uygulama sonrasında ise 40 öğrenciyle yapılan değerlendirme aracılığıyla sistemin yanıt kalitesi, güvenilirliği ve kullanılabilirliği incelenmiştir. Üniversitenin öğrenci işleri portalı ve mobil uygulamasına entegre edilen sohbet robotu, öğrenci hizmetlerine erişilebilirliği artırmakta ve öğrenci etkileşimini güçlendirmektedir. Bulgular, geliştirilen sistemin doğruluk, verimlilik ve kullanıcı memnuniyeti açısından olumlu katkılar sunduğunu göstermekte; ayrıca yapay zekâ destekli sohbet robotlarının yükseköğretimde dijital dönüşüm süreçlerindeki potansiyelini ortaya koymaktadır.

Keywords

• Yapay Zekâ
• Büyük Dil Modelleri
• Retrieval-Augmented Generation

Supporting Institution

Bu çalışma, 2764 proje numarası ile Ankara Yıldırım Beyazıt Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimi tarafından desteklenmiştir.

Project Number

2764

Ethical Statement

Bu çalışma, Ankara Yıldırım Beyazıt Üniversitesi Sosyal ve Beşeri Bilimler Etik Kurulu tarafından onaylanmış olup, tüm katılımcılardan bilgilendirilmiş gönüllü onam alınmıştır.

References

1. Alto, V. (2024). Building LLM powered applications: Create intelligent apps and agents with large language models. Packt Publishing.
2. Antico, M., Lopez, P., & Rivera, C. (2024). Enhancing student support with RAG-powered chatbots: A case study in higher education. Education and AI Journal, 22(4), 77–92.
3. Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877–1901.
4. Chang, Y., Wang, X., Wang, J., Wu, Y., Yang, L., Zhu, K., Chen, H., Yi, X., Wang, C., Wang, Y., Ye, W., Zhang, Y., Yu, P. S., Yang, Q., & Xie, X. (2024). A survey on evaluation of large language models. ACM Transactions on Intelligent Systems and Technology, 15(3), Article 39.
5. Chen, Z., Zou, D., Xie, H., Lou, H., & Pang, Z. (2024). Facilitating university admission using a chatbot based on large language models with retrieval-augmented generation. Educational Technology & Society, 27(4), 454–470.