Gizli Önyargıların Açığa Çıkarılması: Büyük Dil Modellerinde Mesleki ve Cinsiyet Algısı Üzerine Bir İnceleme

Abstract

Bu çalışma, Claude ve Gemini dil modellerinin Türkçe metinlerde meslekler üzerinden cinsiyet önyargısını nasıl yansıttığını incelemektedir. Modellerin ön yargı düzeylerini belirlemek amacıyla her iki modele, 22 farklı meslek grubuna ait veri sağlanmış ve her meslek için üretilen isimlerin cinsiyet dağılımları analiz edilmiştir. Claude modelinin mühendislik, askerlik gibi mesleklerde erkek cinsiyetini daha yüksek oranda öngördüğü, hemşirelik ve öğretmenlik gibi mesleklerde ise kadın cinsiyetini ağırlıklı olarak seçtiği gözlemlenmiştir. Gemini modelinde ise sanatçılık ve yazarlık gibi yaratıcı mesleklerde erkek cinsiyetine dair önyargının daha belirgin olduğu tespit edilmiştir. Çalışmanın alt problemi kapsamında ise modellerin Türkçe metinlerde cinsiyet tahmin performansı incelenmiş ve bu tahminlerin sistematik bir önyargıya sahip olup olmadığı analiz edilmiştir. Sonuçlar, bu modellerin cinsiyet tahminlerinin toplumsal önyargıları yansıttığını ve dil modellerinin etik kullanımı için veri setlerinde önyargı temizleme stratejilerine ihtiyaç duyulduğunu ortaya koymaktadır.

Keywords

• Cinsiyet ön yargısı
• claude
• gemini
• büyük dil modelleri
• türkçe

Unveiling Hidden Biases: Analyzing Professional and Gender Perception Patterns in Large Language Models

Abstract

This study explores how the Claude and Gemini language models exhibit gender bias in relation to occupational roles within Turkish texts. To evaluate the extent of bias in each model, data from 22 different occupational groups was analyzed, focusing on the gender distributions of names generated for each occupation. The findings indicate that the Claude model shows a stronger tendency to predict male gender for traditionally male-dominated professions such as engineering and military service, while it more frequently associates female gender with occupations like nursing and teaching. By comparison, the Gemini model demonstrates a more pronounced male bias in creative fields, particularly in artistry and writing. Additionally, the study examined the models’ gender prediction performance in Turkish texts as a sub-question, investigating whether these predictions exhibit systematic biases. The results suggest that the gender predictions made by these models reflect societal biases, highlighting the necessity for bias mitigation strategies in datasets to ensure the ethical application of language models.

Keywords

• Gender Bias
• Claude
• Gemini
• Large Language Models
• Turkish

References

1. Bolukbasi, T., Chang, K. W., Zou, J. Y., Saligrama, V., & Kalai, T. T. (2016). Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings. Proceedings of the 30th International Conference on Neural Information Processing Systems, 4349–4357.
2. Caliskan, A., Bryson, J. J., & Narayanan, A. (2017). Semantics derived automatically from language corpora contain human-like biases. Science, 356(6334), 183-186.
3. Sun, T., Chang, W., & Xia, Y. (2019). Mitigating gender bias in pre-trained language models. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 467-477.
4. Sheng, E., Chang, K. W., & Callison-Burch, C. (2019). Reducing gender bias in language generation. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing, 4162-4167.
5. Lu, Y., & Zhao, T. (2020). Mitigating gender bias in large language models through adversarial training. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 4356-4367.
6. Barikeri, M., Shankar, S., & Banerjee, P. (2020). Reducing gender bias in language models through post-processing. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 3071-3080.
7. Zhang, Y., & Zhang, X. (2020). A survey on adversarial methods in AI for reducing biases. Artificial Intelligence Review, 53(1), 105-120.
8. Urchs, S., Roth, D., & Wiegand, M. (2023). How prevalent is gender bias in ChatGPT? Exploring German and English ChatGPT responses.

9. Kotek, H., Rarrick, S., & Zhang, J. (2024). Protected Group Bias and Stereotypes in Large Language Models.
10. Zhang, Y., Naik, R., & Liu, L. (2024). Hire Me or Not? Examining Language Model's Behavior with Occupation Attributes.