KUBIT AI: A RETRIEVAL AUGMENTED GENERATION BASED INTELLIGENT CHATBOT SYSTEM FOR KIRIKKALE UNIVERSTY STUDENT SERVICES

Öz

Background/Aim: The growing number of students in higher education institutions has intensified the demand for efficient and accessible information services. Traditional methods such as call centers, physical help desks, and static FAQ pages are inherently limited in scalability, availability, and personalization. This study aims to present KÜBİT AI, a domainspecific chatbot system designed for Kırıkkale University that combines a RetrievalAugmented Generation (RAG) architecture with a locally deployed large language model (LLM). Methods: The proposed system integrates a multilingual sentence-transformer-based semantic retrieval engine over a structured knowledge base compiled from official Kırıkkale University domains with a DuckDuckGo-based web-search fallback mechanism, supporting both structured knowledge access and real-time information discovery. The backend is built upon a Flask RESTful API and communicates with an Ollama-hosted OpenAI GPT-OSS (20B) model. Evaluation is conducted using the RAGAS framework. The study further reports a comparison against BM25, TF-IDF, and pure-LLM baselines, an ablation over retrieval thresholds and top-k, a stress test on a low-overlap paraphrased question set, an evaluation of the web-fallback component, and an error-taxonomy-based failure analysis. Results: The main system obtains context precision of 0.918, context recall of 0.987, faithfulness of 0.782, answer relevancy of 0.630, and answer correctness of 0.778, reaching a RAGAS harmonic mean of 0.805. Conclusion: The core RAG pipeline is designed to run locally, with only the optional websearch fallback relying on an external service when up-to-date public information is needed. This design contributes to data privacy and institutional autonomy

Anahtar Kelimeler

• Chatbot
• Retrieval-augmented generation
• Large language model
• Natural language processing
• University information system

KÜBİT AI: KIRIKKALE ÜNİVERSİTESİ ÖĞRENCİ HİZMETLERİ İÇİN ERİŞİMLE ZENGİNLEŞTİRİLMİŞ ÜRETİM TABANLI AKILLI SOHBET ROBOTU SİSTEMİ

Öz

Yükseköğretim kurumlarında artan öğrenci sayısı, etkin ve erişilebilir bilgi hizmetlerine olan talebi yoğunlaştırmıştır. Çağrı merkezleri, fiziksel yardım masaları ve statik SSS sayfaları gibi geleneksel yöntemler ölçeklenebilirlik, erişilebilirlik ve kişiselleştirme açısından yapısal sınırlılıklar taşımaktadır. Bu çalışma, Kırıkkale Üniversitesi için tasarlanmış, erişimle zenginleştirilmiş üretim (RAG) mimarisi ile yerel olarak konuşlandırılmış bir büyük dil modelini (BDM) kullanan alana özgü bir sohbet robotu sistemi olan KÜBİT AI'ı sunmayı amaçlamaktadır. Önerilen sistem, resmi Kırıkkale Üniversitesi alan adlarından derlenmiş yapılandırılmış bir bilgi tabanı üzerinde çok dilli cümle dönüştürücü tabanlı anlamsal bir erişim motorunu, DuckDuckGo tabanlı bir web arama yedekleme mekanizması ile bütünleştirmektedir. Arka uç, Flask RESTful API üzerine inşa edilmiş olup Ollama aracılığıyla barındırılan OpenAI GPT-OSS (20B) modeli ile iletişim kurmaktadır. Değerlendirme, RAGAS çerçevesi kullanılarak yürütülmüştür. Çalışma ayrıca BM25, TF-IDF ve yalın BDM çizgilerine karşı bir karşılaştırma, eşik ve top-k üzerinde bir ablasyon incelemesi, düşük kelime örtüşmeli bir zorlu soru kümesi üzerinde bir stres testi, web yedekleme bileşeninin değerlendirilmesi ve hata taksonomisine dayalı bir analiz sunmaktadır. Temel sistem bağlam hassasiyeti 0,918, bağlam geri çağırma 0,987, sadakat 0,782, cevap ilgililiği 0,630 ve cevap doğruluğu 0,778 değerlerini elde etmiş ve 0,805 düzeyinde RAGAS harmonik ortalamasına ulaşmıştır. Çekirdek RAG işlem hattı yerel olarak çalışacak şekilde tasarlanmış olup, yalnızca isteğe bağlı web arama yedekleme dalı güncel kamuya açık bilgi gerektiğinde harici bir hizmet kullanmaktadır. Bu mimari veri gizliliğine ve kurumsal özerkliğe katkı sunmaktadır.

Anahtar Kelimeler

• Sohbet robotu
• Erişimle zenginleştirilmiş üretim
• Büyük dil modeli
• Doğal dil işleme
• Üniversite bilgi sistemi

Kaynakça

1. Følstad, A., Brandtzaeg, P. B. 2017. Chatbots and the New World of HCI. Interactions, 24(4), 38-42.
2. Adamopoulou, E., Moussiades, L. 2020. Chatbots: History, Technology, and Applications. Machine Learning with Applications, 2, 100006.
3. Zhao, W. X., Zhou, K., Li, J., Tang, T., Wang, X., Hou, Y., et al. 2023. A Survey of Large Language Models. https://arxiv.org/abs/2303.18223
4. Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., et al. 2023. Survey of Hallucination in Natural Language Generation. ACM Computing Surveys, 55(12), 1-38.
5. Huang, L., Yu, W., Ma, W., Zhong, W., Feng, Z., Wang, H., et al. 2024. A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. https://arxiv.org/abs/2311.05232
6. Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., et al. 2020. RetrievalAugmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems, 33, 9459-9474.
7. Gao, Y., Xiong, Y., Gao, X., Jia, K., Pan, J., Bi, Y., et al. 2024. Retrieval-Augmented Generation for Large Language Models: A Survey. https://arxiv.org/abs/2312.10997
8. Khasanova Zafar kizi, M., Suh, Y. 2025. Design and Performance Evaluation of LLMBased RAG Pipelines for Chatbot Services in International Student Admissions. Electronics, 14(15), 3095.

9. Sarmiento, C., Lauría, E. J. M. 2025. Investigating Flavors of RAG for Applications in College Chatbots. Proceedings of the 17th International Conference on Computer Supported Education (CSEDU 2025), 2, 421-428.
10. Neupane, S., Rauniyar, S., Nagarajan, R., Raghavan, V., Caragea, C. 2024. From Questions to Insightful Answers: Building an Informed Chatbot for University Resources. https://arxiv.org/abs/2405.08120
11. Altınel, B., Ganiz, M. C. 2018. Semantic Text Classification: A Survey of Past and Recent Advances. Information Processing & Management, 54(6), 1129-1153.
12. Oflazer, K. 2014. Turkish and its challenges for language processing. Language Resources and Evaluation, 48(4), 639-653.
13. OpenAI. 2025. gpt-oss-120b & gpt-oss-20b Model Card. https://openai.com/index/gptoss-model-card/
14. Reimers, N., Gurevych, I. 2019. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3982-3992.
15. Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., et al. 2020. Unsupervised Cross-lingual Representation Learning at Scale. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 8440-8451.
16. DuckDuckGo. 2024. How to use advanced syntax on DuckDuckGo Search. https://duckduckgo.com/duckduckgo-help-pages/results/syntax/
17. OpenAI. 2025. Introducing GPT-OSS. https://openai.com/index/introducing-gpt-oss/
18. Ollama. 2024. Ollama: Run Large Language Models Locally. https://ollama.com
19. MDN Web Docs. 2024. Canvas API. https://developer.mozilla.org/enUS/docs/Web/API/Canvas_API
20. Es, S., James, J., Espinosa-Anke, L., Schockaert, S. 2024. RAGAs: Automated Evaluation of Retrieval Augmented Generation. Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, 150158.
21. Ragas Documentation. 2024. Non-LLM Context Metrics. https://docs.ragas.io
22. Abu Shawar, B., Atwell, E. 2007. Chatbots: Are They Really Useful? LDV Forum, 22(1), 29-49.
23. Robertson, S. E., Zaragoza, H. 2009. The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval, 3(4), 333-389.
24. Li, Y., Li, Z., Zhang, K., Dan, R., Jiang, S., Zhang, Y. 2023. ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language Model Meta-AI (LLaMA) Using Medical Domain Knowledge. Cureus, 15(6), e40895.
25. T.C. Resmi Gazete. 2016. 6698 Sayılı Kişisel Verilerin Korunması Kanunu. Resmi Gazete, Sayı: 29677, Ankara.