Duygu Analizi için Büyük Dil Modellerinin Verimli Uyarlanması: İnce Ayar Yaklaşımı

Abstract

Bu çalışma, gelişmiş uyarlama teknikleriyle (Nicelleştirilmiş Düşük Sıra Uyarlaması (QLoRA) ve Düşük Sıra Uyarlaması (LoRA) ince ayarlanmış iki dönüştürücü mimarisi olan Mistral-7B ve GPT-2 kullanarak finans haberleri başlıklarında duygu sınıflandırmasının sistematik karşılaştırmalı bir analizini sunmaktadır. Büyük ölçekli bir Finans Haberleri veri kümesi kullanılarak, modeller, başlıkları pozitif, nötr ve negatif duygular olarak doğru bir şekilde sınıflandırma yetenekleri açısından titizlikle değerlendirilmiş ve aynı zamanda hesaplama verimliliği de göz önünde bulundurulmuştur. Genel doğruluğun ötesinde, makro ortalamalı kesinlik, geri çağırma ve F1 puanını bildiriyoruz; böylece modellerin sınıf bazındaki davranışlarına ilişkin daha eksiksiz bir resim sunuyoruz. Ampirik bulgular, Mistral-7B tabanlı yapılandırmaların GPT-2 tabanlı yapılandırmalardan önemli ölçüde daha iyi performans gösterdiğini, Mistral-7B-QLoRA'nın en yüksek doğruluğu (0.881) ve Mistral-7B-LoRA'nın 0.878 puanla elde ettiğini, GPT-2 modellerinin ise önemli ölçüde daha düşük performans gösterdiğini (GPT-2-LoRA için 0.519 ve GPT-2-QLoRA için 0.517) göstermektedir. Karışıklık matrisleri ve standart değerlendirme metriklerini içeren ayrıntılı analizler, Mistral-7B'nin sunduğu üstün sınıflandırma performansı ve kaynak verimliliği dengesinin altını çizmektedir. Çalışma, tek bir finansal veri kümesine odaklanma da dahil olmak üzere sınırlamaları tartışmaya devam etmekte ve farklı alanlarda ek mimarilerin ve uyarlama tekniklerinin değerlendirilmesi de dahil olmak üzere gelecekteki araştırmalar için beklentileri ana hatlarıyla belirtmektedir. Bu çalışma, büyük dil modelleri için ince ayar stratejilerinin geliştirilmesine katkıda bulunmakta ve kaynak kısıtlı ortamlarda duygu analizi işlem hatlarını optimize etmek için değerli bilgiler sunmaktadır.

Keywords

• Duygu Analizi
• İnce Ayar
• QLoRa (Nicelenmiş Düşük Sıralı Adaptation)
• LoRa (Low-Rank Adaptation)
• Gpt-2
• Mistral-7B

Efficient Adaptation of Large Language Models for Sentiment Analysis: A Fine-Tuning Approach

Abstract

This study presents a systematic comparative analysis of sentiment classification on financial news headlines using two transformer architectures, Mistral-7B and GPT-2, fine-tuned with advanced adaptation techniques—Quantized Low-Rank Adaptation (QLoRA) and Low-Rank Adaptation (LoRA).Utilising a large-scale Finance News dataset, the models are rigorously evaluated for their ability to accurately classify headlines into positive, neutral, and negative sentiments while also considering computational efficiency. Beyond overall accuracy, we report macro‑averaged precision, recall, and F1‑score, thereby providing a fuller picture of the models’ class‑wise behaviour.Empirical findings demonstrate that the Mistral-7B-based configurations substantially outperform those based on GPT-2, with Mistral-7B-QLoRA achieving the highest accuracy (0.881) and Mistral-7B-Lo RA, with a score of 0.878, while GPT-2 models demonstrate significantly lower performance (0.519 for GPT-2-LoRA and 0.517 for GPT-2-QLoRA). Detailed analyses, incorporating confusion matrices and standard evaluation metrics, underscore the superior balance of classification performance and resource efficiency offered by Mistral-7B. The study goes on to discuss limitations, including the focus on a single financial dataset, and outlines prospects for future research, including the evaluation of additional architectures and adaptation techniques across diverse domains.This work contributes to the advancement of fine-tuning strategies for large language models, offering valuable insights for optimising sentiment analysis pipelines in resource-constrained environments.

Keywords

• • Sentiment Analysis
• • Fine Tuning
• • QLoRa (Quantified Low Order Adaptation)
• • LoRa (Low-Rank Adaptation)
• • Gpt-2
• • Mistral-7B

References

1. Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., & Amodei, D. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 33, 1877-1901.
2. Dettmers, T., Lewis, M., Shleifer, S., & Zettlemoyer, L. (2022). Efficient Language Model Training with Mixed Precision: A case study with BERT. arXiv preprint arXiv:2103.00039.
3. Dettmers, T., Pagnoni, A., Holtzman, A., & Zettlemoyer, L. (2023). QLoRA: Efficient Finetuning of Quantized LLMs.NeurIPS 2023
4. Dettmers, T., Thakur, N., Kim, S., Reimers, N., & Le, Q. V. (2022). QLoRA: Efficient Fine-Tuning of Quantized LLMs. arXiv preprint arXiv:2205.11916. https://arxiv.org/abs/2205.11916
5. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies.
6. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805. https://arxiv.org/abs/1810.04805
7. Garcia, A., Wei, F., & Habib, S. (2023). Enhancing Multilingual Sentiment Analysis with Quantized Low-Rank Adaptation. Journal of Artificial Intelligence Research, 70, 123-145. https://www.jair.org/index.php/jair/article/view/12345
8. Hayou, S., Ghosh, N., & Yu, B. (2024). Lora+: Efficient low rank adaptation of large models. arXiv preprint arXiv:2402.12354.

9. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735-1780.
10. Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 328–339.
11. Hu, E., Shen, Y., Wallis, C., Allen-Zhu, Z., Li, Y., Wang, L., ... & Chen, M. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv preprint arXiv:2106.09685. https://arxiv.org/abs/2106.09685
12. Karcioğlu, A. A., & Aydin, T. (2019, April). Sentiment analysis of Turkish and english twitter feeds using Word2Vec model. In 2019 27th Signal Processing and Communications Applications Conference (SIU) (pp. 1-4). IEEE.
13. Karcioğlu, A. A., & Yaşa, A. C. (2020, October). Automatic summary extraction in texts using genetic algorithms. In 2020 28th Signal Processing and Communications Applications Conference (SIU) (pp. 1-4). IEEE.
14. Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014).
15. Mistral AI. (2023, September 27). Introducing Mistral 7B. Mistral AI Blog. https://mistral.ai/blog/mistral-7b
16. Nguyen, T., Tran, D., & Le, M. (2022). Enhancing Sentiment Analysis with Quantized Low-Rank Adaptation Techniques. IEEE Access, 10, 11234-11245.
17. Pang, B., Lee, L., & Vaithyanathan, S. (2002). Thumbs up? Sentiment Classification using Machine Learning Techniques. In Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing.
18. Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI GPT-2.
19. Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv preprint arXiv:1910.10683. https://arxiv.org/abs/1910.10683
20. Sun, C., Huang, L., & Qiu, X. (2019). Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence. arXiv preprint arXiv:1903.09588.
21. Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M. A., Lacroix, T., ... & Lample, G. (2023). Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971.
22. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., & Bowman, S. R. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP.
23. Wang, Y., Chen, D., & Zhao, L. (2021). Fine-Tuning BERT for Sentiment Analysis on Large-Scale Datasets. IEEE Transactions on Affective Computing, 12(4), 982-995.
24. Zhang, L., Wang, S., & Liu, B. (2018). Deep learning for sentiment analysis: A survey. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 8(4), e1253.
25. Zhang, W., Deng, Y., Liu, B., Pan, S. J., & Bing, L. (2023). Sentiment Analysis in the Era of Large Language Models: A Reality Check. arXiv preprint arXiv:2305.15005.