YAPAY ZEKÂ SOHBET BOTLARI ULUSLARARASI KORUMAYI NE KADAR DOĞRU AÇIKLIYOR? KARŞILAŞTIRMALI BİR DEĞERLENDİRME

Abstract

Arka Plan: Bu çalışma, uluslararası koruma statüsüne ilişkin temel kavram ve süreçlerin açıklanmasında yapay zekâ sohbet robotlarının performansını karşılaştırmalı olarak değerlendirmeyi amaçlamaktadır. Araştırma kapsamında, uluslararası koruma statüsüne ilişkin 10 soruluk bir soru seti Ekim 2025’te OpenAI tarafından geliştirilen ChatGPT-5, Google Gemini 2.5 Flash ve Microsoft Copilot Think Deeper modellerine yöneltilmiştir. Amaç: Modeller tarafından üretilen ilk yanıtlar, göç alanında uzman beş akademisyen tarafından kör değerlendirme yöntemiyle puanlanmıştır. Değerlendirme süreci, Birleşmiş Milletler Mülteciler Yüksek Komiserliği tarafından geliştirilen Uluslararası Koruma Kılavuzları ve Mülteci Statüsünün Belirlenmesine İlişkin Usul ve Kriterler El Kitabı esas alınarak yürütülmüştür. Yöntem: Yanıtlar doğruluk ve kapsamlılık ölçütleri temelinde beşli Likert tipi ölçek kullanılarak değerlendirilmiştir. Elde edilen verilerin analizinde değerlendiriciler arası uyumu belirlemek amacıyla Kendall’ın W katsayısı kullanılmış; yapay zekâ modelleri arasındaki farklılıkların test edilmesinde ise Friedman testi uygulanmıştır. Bulgular: Bulgular, tüm modellerin genel olarak doğru yanıtlar üretmekle birlikte açıklamaların çoğu zaman sınırlı ve yüzeysel kaldığını göstermektedir. ChatGPT’nin ortalama puanlarının diğer modellere kıyasla daha yüksek olduğu saptanmış; ancak özellikle “tamamlayıcı koruma” gibi hukuki yoruma açık kavramlarda modeller arasında anlamlı farklılıklar bulunduğu belirlenmiştir. Sonuç: Sonuç olarak, yapay zekâ sohbet robotlarının uluslararası koruma alanında temel bilgilere hızlı erişim sağlayan yardımcı araçlar olarak işlev görebileceği; ancak hak temelli ve hukuki sonuç doğuran bireysel başvuru süreçlerinde uzman değerlendirmesinin yerini alamayacağı sonucuna ulaşılmıştır. onucuna varılmıştır.

Keywords

• Uluslararası koruma
• yapay zekâ
• ChatGPT
• Gemini
• Copilot.

HOW ACCURATELY DO ARTİFİCİAL INTELLİGENCE CHATBOTS EXPLAİN INTERNATİONAL PROTECTİON? A COMPARATİVE EVALUATİON

Abstract

Background: This study aims to comparatively evaluate the performance of artificial intelligence chatbots in explaining fundamental concepts and processes related to international protection status. Within the scope of the research, a set of 10 questions related to international protection status was posed to the OpenAI ChatGPT-5, Google Gemini 2.5 Flash, and Microsoft Copilot Think Deeper models in October 2025. Objective: The initial responses generated by the models were scored by five academics specialising in migration using a blind evaluation method. The evaluation process was based on the Handbook on Procedures and Criteria for Determining Refugee Status and Guidelines on International Protection developed by the United Nations High Commissioner for Refugees (UNHCR). Method: The responses were evaluated on a five-point scale according to their accuracy and comprehensiveness. Kendall's W coefficient was used to determine inter-rater agreement in the analysis of the data obtained, while the Friedman test was used to test the differences between the artificial intelligence models. Results: The findings show that all models are generally accurate but often provide limited and superficial explanations. It was found that ChatGPT's average scores were higher than those of other models, but there were significant differences between models, particularly in concepts open to legal interpretation, such as “complementary protection”. Conclusion: Consequently, it was concluded that artificial intelligence chatbots could serve as auxiliary tools providing rapid access to fundamental information in the field of international protection, but could not replace expert assessment in rights-based and legally consequential individual application processes.

Keywords

• International protection
• artificial intelligence
• ChatGPT
• Gemini
• Copilot.

References

1. Alkaissi, H., & McFarlane, S. I. (2023). Artificial hallucinations in ChatGPT: Implications in scientific writing. Cureus, 15(2). https://doi.org/10.7759/cureus.35179
2. Amoroso, M. P. (2024). Intelligent borders: Exploring the suitability of artificial intelligence systems in refugee status determination under international law. Refugee Survey Quarterly, 43(4), 410–426. https://doi.org/10.1093/rsq/hdae021
3. Chen, L., Chen, P., & Lin, Z. (2020). Artificial intelligence in education: A review. IEEE Access, 8, 75264–75278.
4. Cohen, N. D., Ho, M., McIntire, D., Smith, K., & Kho, K. A. (2025). A comparative analysis of generative artificial intelligence responses from leading chatbots to questions about endometriosis. AJOG Global Reports, 5(1), 100405.
5. European Parliament and Council of the European Union. (2024). Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). Official Journal of the European Union.
6. Global Migration Data Portal. (2024). API Documentation Migration Data Portal. Migration Data Portal. https://www.migrationdataportal.org/handbooks/global-migration-data-portal-api-documentation
7. Google Trends. Available at: https://trends.google.com/trends/ (Accessed: 08 December 2025).
8. International Organization for Migration (IOM). (2024). Migration and migrants: A global overview. In M. McAuliffe & L. A. Oucho (Eds.), World Migration Report 2024. IOM, Geneva.

9. Jahani, S., Dehghanian, Z., & Takian, A. (2024). ChatGPT and refugee's health: Innovative solutions for changing the game. International Journal of Public Health, 69, 1607306. https://doi.org/10.3389/ijph.2024.1607306
10. Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., Ishii, E., Bang, Y. J., Madotto, A., & Fung, P. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12), 1–38. https://doi.org/10.1145/3571730
11. Koçyiğit, A., & Darı, A. B. (2023). Yapay zekâ iletişimde ChatGPT: İnsanlaşan dijitalleşmenin geleceği. Stratejik ve Sosyal Araştırmalar Dergisi, 7, 427–438.
12. McCarthy, J., & Wright, P. (2004). Technology as Experience. The MIT Press, London.
13. Memon, A., Ozkul, D., McGregor, L., Richmond, O., & Muraszkiewicz, J. (2024). Artificial intelligence (AI) in the asylum system. Helen Bamber Foundation.
14. Nalbandian, L. (2022). An eye for an ‘I:’ A critical assessment of artificial intelligence tools in migration and asylum management. Comparative Migration Studies, 10(1).
15. Rönsch, A.-M. (2024). The use of artificial intelligence in migration management: A systematic literature review. SSRN. https://ssrn.com/abstract=4953245
16. Schwab, K. (2017). The Fourth Industrial Revolution. Crown Publishing Group, New York.
17. UN High Commissioner for Refugees (UNHCR). (2019). Handbook on procedures and criteria for determining refugee status and guidelines on international protection under the 1951 Convention and the 1967 Protocol relating to the status of refugees (HCR/1P/4/ENG/REV. 4). https://www.unhcr.org/publications/legal/3d58e13b4/handbook-procedures-criteria-determining-refugee-status-under-1951-convention.html
18. Zeide, E. (2019). Artificial Intelligence in Higher Education: Chatbots, Promise and Perils, and Ethical Questions. Educause Review.