Güncel Açık Kaynak Büyük Dil Modellerinin Kişilik Değerlendirme Performansı: IPIP Verileri Üzerinde İnsan ve Yapay Zekâ Karşılaştırması

Abstract

Yapay zekâ tabanlı sohbet botlarının yaygın kullanımı, bu sistemlerin yalnızca doğruluğunun değil, aynı zamanda sergiledikleri dilsel ve davranışsal örüntülerin de incelenmesini gerekli kılmıştır. Kullanıcı etkileşimleri sırasında ortaya çıkan yanıtların üslubu ve tonu, bu sistemlerin belirli kişilik özellikleri sergilediği yönünde algılar oluşturabilmektedir. Bu çalışma, yapay zekâ (YZ) sohbet botlarının (COPILOT, ChatGPT, Gemini, Meta AI, Grok, Perplexity AI ve Claude) insan kişilik özelliklerini ne ölçüde taklit edebildiğini, Beş Faktör Kişilik Test (IPIP- Big Five) Modeli çerçevesinde incelemektedir. Veriler, uygulanan 5 seviyeli Likert tipi ölçek aracılığıyla toplanmıştır. Yapay zekâ yanıtları, 1=Kesinlikle Katılmıyorum ile 5=Kesinlikle Katılıyorum arasında derecelendirilen 5’li Likert ölçeği kullanılarak ölçülmüştür. İnsan verileri ile farklı YZ sohbet botlarından elde edilen yanıtlar, normal dağılım varsayımı altında Z-test kullanılarak karşılaştırılmıştır. Analizler, dışadönüklük (z = 0,403) ve deneyime açıklık (z = 1,57) boyutlarında sık kullandığımız gruplar arasında istatistiksel olarak anlamlı fark bulunmadığını göstermektedir. Buna karşılık, duygusal dengesizlik (nörotisizm) (z =-5,876), uyumluluk (z = 5,069) ve sorumluluk (z = 2,739) boyutlarında anlamlı farklılıklar tespit edilmiştir. Bulgular, YZ sistemlerinin düşük duygusal duyarlılık ve yüksek uyumluluk ile sorumluluk skorları üretme eğiliminde olduğunu, dolayısıyla insan kişiliğini kısmen taklit edebilse de belirli boyutlarda sistematik sapmalar gösterdiğini ortaya koymaktadır. Bu çalışma, YZ sistemlerinin kişilik simülasyonunu nicel olarak değerlendirebilen istatistiksel yeni bir çerçeve sunmaktadır.

Keywords

• İstatistiksel analiz
• Sohbet botları
• z-testi
• Kişilik analiz testi
• Uluslararası Kişilik Madde Havuzu
• Beş Faktör Kişilik Modeli

Ethical Statement

Bu araştırmada hayvanlar ve insanlar üzerinde herhangi bir çalışma yapılmadığı için etik kurul onayı alınmamıştır. Çalışmada açık kaynaklı yazılımlar, açık kaynaklı IPIP kişilik testi ve açık erişimli veri kaynakları kullanılmıştır. Yapay zekâ modellerine uygulanan IPIP testlerinin sonuçları GitHub üzerinden kamuya açık olarak paylaşılmıştır. Ayrıca, çalışmada kullanılan Python kodları hem sonuçların doğrulanabilmesi hem de gelecekte yapılacak araştırmalara katkı sağlaması amacıyla erişime açılmıştır: https://github.com/ilknurbcdonmez/IPIP_test-for-common-chatbots. Yapay zekadan sadece cümle yapısını düzeltmek, dilbilgisi kontrolü ve bir resimde sonuçları ve nasıl çizeceği tüm detayları (giriş değerleri) vererek özet resim oluşturmak için faydalandım.

Evaluating the Personality Assessment Performance of Current Free Large Language Models: A Human–AI Comparison on IPIP Data

Abstract

The widespread adoption of AI-based chatbots has made it necessary to examine not only their accuracy performance but also the linguistic and behavioral patterns they exhibit. The style and tone of responses generated during user interactions can create perceptions that these systems display certain personality traits. This study investigates the extent to which AI chatbots (COPILOT, ChatGPT, Gemini, Meta AI, Grok, Perplexity AI ve Claude) can emulate human personality characteristics within the frameworks of the International Personality Item Pool and the Big Five Personality Model. Data was collected using a five-point Likert-type scale. The AI-generated responses were measured using a five-point Likert scale, with ratings ranging from 1 = Strongly Disagree to 5 = Strongly Agree. Human data and responses obtained from various AI chatbots were compared using the Z-test under the assumption of normal distribution. The analyses indicate no statistically significant differences between groups in extraversion (z = 0.403) and openness to experience (z = 1.57). In contrast, significant differences were identified in neuroticism (z =-5.876), agreeableness (z = 5.069), and conscientiousness (z = 2.739). The findings suggest that AI systems tend to produce lower neuroticism and higher agreeableness and conscientiousness scores. Therefore, while they can partially emulate human personality traits, they exhibit systematic deviations in specific dimensions. This study provides a new statistical framework for the quantitative evaluation of personality simulation in AI systems.

Keywords

• Statistical analysis
• Chatbots
• z-test
• Personality assessment test
• International Personality Item Pool
• Big Five Personality Model

References

1. Baldasaro, R. E., Shanahan, M. J., & Bauer, D. J. (2013). Psychometric properties of the Mini-IPIP in a large nationally representative sample of young adults. Journal of Personality Assessment, 95(1), 74–84. https://doi.org/10.1080/00223891.2012.700466
2. Bhattacharyya, R., Al Shami, W., & George, C. (2026, April). The role of personality of conversational virtual avatars on proxemic behaviour during indoor navigation. In Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems ACM (pp. 1–10). https://doi.org/10.1145/3772318.3791241
3. Boyd, R. L., & Markowitz, D. M. (2026). Artificial intelligence and the psychology of human connection. Perspectives on Psychological Science, 21(2), 192–220. https://doi.org/10.1177/17456916251404394
4. Celli, F., Kartelj, A., Đorđević, M., Suhartono, D., Filipović, V., Milutinović, V., & Lepri, B. (2026). Twenty years of personality computing: Threats, challenges and future directions. ACM Computing Surveys, 58(11), 1–37. https://doi.org/10.1145/3806009
5. Chen, E. K., Belkin, M., Bergen, L., & Danks, D. (2026). Does AI already have human-level intelligence? The evidence is clear. Nature, 650(8100), 36–40. https://doi.org/10.1038/d41586-026-00285-6
6. Fan, J., Sun, T., Liu, J., Zhao, T., Zhang, B., Chen, Z., Glorioso, M., & Hack, E. (2023). How well can an AI chatbot infer personality? Examining psychometric properties of machine-inferred personality scores. Journal of Applied Psychology, 108(8), 1277–1299. https://doi.org/10.1037/apl0001082
7. Goldberg, L. R. (1992). The development of markers for the Big-Five factor structure. Psychological Assessment, 4(1), 26–42. https://doi.org/10.1037/1040-3590.4.1.26
8. Goldberg, L. R., Johnson, J. A., Eber, H. W., Hogan, R., Ashton, M. C., Cloninger, C. R., & Gough, H. G. (2006). The International Personality Item Pool and the future of public-domain personality measures. Journal of Research in Personality, 40(1), 84–96. https://doi.org/10.1016/j.jrp.2005.08.007

9. Hernandez, I., & Nie, W. (2023). The AI-IP: Minimizing the guesswork of personality scale item development through artificial intelligence. Personnel Psychology, 76(4), 1011–1035. https://doi.org/10.1111/peps.12543
10. Jędrzejczak, W. W., & Kobosko, J. (2025). Do chatbots exhibit personality traits? A comparison of ChatGPT and Gemini through self-assessment. Information, 16(7), Article 523. https://doi.org/10.3390/info16070523
11. Johnson, J. A. (2014). Measuring thirty facets of the Five Factor Model with a 120-item public domain inventory: Development of the IPIP-NEO-120. Journal of Research in Personality, 51, 78–89. https://doi.org/10.1016/j.jrp.2014.05.003
12. Keeler, J. B., & Murphy, B. A. (2026). Chatbots and human-human relationships: The need for research on potential downstream harms from generative AI. Community, Work & Family, 1–13. https://doi.org/10.1080/13668803.2026.2623500
13. Klinkert, L. J., Buongiorno, S., & Clark, C. (2024). Driving generative agents with their personality (arXiv:2402.14879). arXiv. https://doi.org/10.48550/arXiv.2402.14879
14. Lo, J. H., Huang, H. P., & Lo, J. S. (2025). LLM-based robot personality simulation and cognitive system. Scientific Reports, 15(1), Article 16993. https://doi.org/10.1038/s41598-025-01528-8
15. Maples, J. L., Guan, L., Carter, N. T., & Miller, J. D. (2014). A test of the International Personality Item Pool representation of the Revised NEO Personality Inventory and development of a 120-item IPIP-based measure of the five-factor model. Psychological Assessment, 26(4), 1070–1084. https://doi.org/10.1037/pas0000004
16. Maples-Keller, J. L., Williamson, R. L., Sleep, C. E., Carter, N. T., Campbell, W. K., & Miller, J. D. (2019). Using item response theory to develop a 60-item representation of the NEO PI–R using the International Personality Item Pool. Journal of Personality Assessment, 101(1), 4–15. https://doi.org/10.1080/00223891.2017.1381968
17. Martínez-Molina, A., & Arias, V. B. (2018). Balanced and positively worded personality short-forms: Mini-IPIP validity and cross-cultural invariance. PeerJ, 6, Article e5542. https://doi.org/10.7717/peerj.5542
18. Nighojkar, A., Moydinboyev, B., Duong, M., & Licato, J. (2025). Giving AI personalities leads to more human-like reasoning (arXiv:2502.14155). arXiv. https://doi.org/10.48550/arXiv.2502.14155
19. Pellert, M., Lechner, C. M., Wagner, C., Rammstedt, B., & Strohmaier, M. (2024). AI psychometrics: Assessing the psychological profiles of large language models through psychometric inventories. Perspectives on Psychological Science, 19(5), 808–826. https://doi.org/10.1177/17456916231214460
20. Perry, L. M., Hoerger, M., Molix, L. A., & Duberstein, P. R. (2020). A validation study of the Mini-IPIP five-factor personality scale in adults with cancer. Journal of Personality Assessment, 102(2), 153–163. https://doi.org/10.1080/00223891.2019.1644341
21. Peters, H., Cerf, M., & Matz, S. C. (2024). Large language models can infer personality from free-form user interactions (arXiv:2405.13052). arXiv. https://doi.org/10.48550/arXiv.2405.13052
22. Serapio-García, G., Safdari, M., Crepy, C., Sun, L., Fitz, S., Romero, P., Callahan, C., Srikumar, V., Moghaddam, M. H. R., Lertvittayakumjorn, P., & Matarić, M. (2023). Personality traits in large language models (arXiv:2307.00184). arXiv. https://doi.org/10.48550/arXiv.2307.00184
23. Socha, A., Cooper, C. A., & McCord, D. M. (2010). Confirmatory factor analysis of the M5-50: An implementation of the International Personality Item Pool item set. Psychological Assessment, 22(1), 43-49. https://doi.org/10.1037/a0017371
24. Sylvara, A., Gregg, E. E., & Sun, T. (2026). Beyond scales and essays: Artificial intelligence chatbots as personality interviewers. Journal of Personality Assessment, 1–14. https://doi.org/10.1080/00223891.2026.2664795
25. Taubenfeld, A., Dover, Y., Reichart, R., & Goldstein, A. (2024, November). Systematic biases in LLM simulations of debates. In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing ACL (pp. 251–267). https://doi.org/10.18653/v1/2024.emnlp-main.16
26. Vaccaro, M., Almaatouq, A., & Malone, T. (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. https://doi.org/10.1038/s41562-024-02024-1
27. Wang, Y., Zhao, J., Ones, D. S., He, L., & Xu, X. (2025). Evaluating the ability of large language models to emulate personality. Scientific Reports, 15(1), Article 519. https://doi.org/10.1038/s41598-024-84109-5
28. Ypofanti, M., Zisi, V., Zourbanos, N., Mouchtouri, B., Tzanne, P., Theodorakis, Y., & Lyrakos, G. (2015). Psychometric properties of the International Personality Item Pool Big-Five questionnaire for the Greek population. Health Psychology Research, 3(2), Article 2206. https://doi.org/10.4081/hpr.2015.2206
29. Yunusa, S., Abiola, T., & Udofia, O. (2016). Kano Eyaleti profesyonel sporcularının kişilik özellikleri, spor türleri ve demografik özellikleri. Suudi Spor Hekimliği Dergisi , 16 (2), 101-105. https://doi.org/10.4103/1319-6308.180151