Emotion Scoring Profiles of Local Large Language Models on the GoEmotions Dataset

Öz

This study compares the emotion scores assigned by ten locally deployed large language models to English Reddit comments from the GoEmotions dataset. The models were run through Ollama in the same hardware environment, and recorded scores for 27 emotion categories and the neutral category were examined. Each model covered 987–2,493 distinct texts, corresponding to 3,857–9,681 annotation rows in the dataset. Scores were weighted by the number of rows containing each text, following the existing data loading procedure. The analysis covered category means, model profiles, emotion-group totals, score distributions, and correlations between category means across models. For llama2:7b, the mean scores for love, grief, and excitement were 0.528, 0.520, and 0.518, respectively. The highest mean neutral score was observed for olmo2:7b at 0.702. The median across the 28 category means was 0.343 for llama2:7b and 0.042 for gpt-oss:20b. The findings show that the models assigned different score levels to emotion categories within the examined records. The results describe scoring tendencies within the available records, taking differences in text coverage across models into account.

Anahtar Kelimeler

• Large language models
• Emotion analysis
• Emotion scoring
• Local models

Yerel Büyük Dil Modellerinin GoEmotions Veri Kümesi Üzerindeki Duygu Puanlama Profilleri

Öz

Bu çalışmada, yerel olarak çalıştırılan on büyük dil modelinin, İngilizce Reddit yorumlarından oluşan GoEmotions veri kümesindeki metinlere atadığı duygu puanlarının karşılaştırılması amaçlanmıştır. Modeller Ollama altyapısı üzerinden aynı donanım ortamında çalıştırılmış; 27 duygu kategorisi ve nötr alanı için elde edilen kayıtlı puanlar incelenmiştir. Her model için 987–2493 tekil metne ait puanlar kullanılmıştır. Bu metinler veri kümesinde 3857–9681 etiketleme satırında yer almakta; ortalamalarda her metnin satır sayısından kaynaklanan ağırlığı korunmaktadır. İncelemede duygu alanı ortalamaları, model profilleri, duygu gruplarının toplamları, puan dağılımları ve alan ortalamaları arasındaki korelasyonlar kullanılmıştır. llama2:7b modelinde sevgi, keder ve heyecan alanlarının ortalama puanları sırasıyla 0,528, 0,520 ve 0,518 olarak bulunmuştur. En yüksek ortalama nötr puanı olmo2:7b modelinde 0,702 olarak gözlenmiştir. Yirmi sekiz alanın ortalama puanları üzerinden hesaplanan sınıf medyanı llama2:7b modelinde 0,343, gpt-oss:20b modelinde ise 0,042 olarak belirlenmiştir. Bulgular, incelenen kayıtlar kapsamında modellerin duygu alanlarına farklı düzeylerde puan verdiğini göstermektedir. Sonuçlar, model başına metin kapsamındaki farklılıklar dikkate alınarak puanlama eğilimleri açısından değerlendirilmiştir.

Anahtar Kelimeler

• Büyük dil modelleri
• Duygu analizi
• Duygu puanlama
• Yerel modeller

Kaynakça

1. Demszky, D., Movshovitz-Attias, D., Ko, J., Cowen, A., Nemade, G., & Ravi, S. (2020). GoEmotions: A dataset of fine-grained emotions. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ss. 4040–4054). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.372 Veri kümesi: https://github.com/google-research/google-research/tree/master/goemotions
2. Lai, V. D., Ngo, N. T., Pouran Ben Veyseh, A., Man, H., Dernoncourt, F., Bui, T., & Nguyen, T. H. (2023). ChatGPT beyond English: Towards a comprehensive evaluation of large language models in multilingual learning. In Findings of the Association for Computational Linguistics: EMNLP 2023 (ss. 13171–13189). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.findings-emnlp.878
3. Liang, P., Bommasani, R., Lee, T., Tsipras, D., Soylu, D., Yasunaga, M., Zhang, Y., Narayanan, D., Wu, Y., Kumar, A., Newman, B., Yuan, B., Yan, B., Zhang, C., Cosgrove, C., Manning, C. D., Ré, C., Acosta-Navas, D., Hudson, D. A., … Koreeda, Y. (2023). Holistic evaluation of language models. Transactions on Machine Learning Research. https://openreview.net/forum?id=iO4LZibEqW
4. Ollama. (2026). Library. 13 Ekim 2026 tarihinde https://ollama.com/library adresinden erişildi. Plaza-del-Arco, F. M., Cercas Curry, A. A., Cercas Curry, A., & Hovy, D. (2024). Emotion analysis in NLP: Trends, gaps and roadmap for future directions. In Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024) (ss. 5696–5710). ELRA and ICCL. https://aclanthology.org/2024.lrec-main.506/
5. Qian, Y., Zhang, W.-N., & Liu, T. (2023). Harnessing the power of large language models for empathetic response generation: Empirical investigations and improvements. In Findings of the Association for Computational Linguistics: EMNLP 2023 (ss. 6516–6528). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.findings-emnlp.433
6. Schlicher, M., Li, Y., Murthy, S. M. K., Sun, Q., & Schuller, B. W. (2025). Emotionally adaptive support: A narrative review of affective computing for mental health. Frontiers in Digital Health, 7, Article 1657031. https://doi.org/10.3389/fdgth.2025.1657031
7. Wang, J., Mo, F., Ma, W., Sun, P., Zhang, M., & Nie, J.-Y. (2024). A user-centric multi-intent benchmark for evaluating large language models. In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (ss. 3588–3612). Association for Computational Linguistics. https://doi.org/10.18653/v1/2024.emnlp-main.210
8. Zhang, W., Deng, Y., Liu, B., Pan, S. J., & Bing, L. (2024). Sentiment analysis in the era of large language models: A reality check. In Findings of the Association for Computational Linguistics: NAACL 2024 (ss. 3881–3906). Association for Computational Linguistics. https://doi.org/10.18653/v1/2024.findings-naacl.246