TY  - JOUR
T1  - Efficient Adaptation of Large Language Models for Sentiment Analysis: A Fine-Tuning Approach
TT  - Duygu Analizi için Büyük Dil Modellerinin Verimli Uyarlanması: İnce Ayar Yaklaşımı
AU  - Bayat Toksöz, Seda
AU  - Işık, Gültekin
PY  - 2025
DA  - November
Y2  - 2025
DO  - 10.21597/jist.1648466
JF  - Journal of the Institute of Science and Technology
JO  - J. Inst. Sci. and Tech.
PB  - Iğdır Üniversitesi
WT  - DergiPark
SN  - 2536-4618
SP  - 1149
EP  - 1164
VL  - 15
IS  - 4
LA  - en
AB  - This study presents a systematic comparative analysis of sentiment classification on financial news headlines using two transformer architectures, Mistral-7B and GPT-2, fine-tuned with advanced adaptation techniques—Quantized Low-Rank Adaptation (QLoRA) and Low-Rank Adaptation (LoRA).Utilising a large-scale Finance News dataset, the models are rigorously evaluated for their ability to accurately classify headlines into positive, neutral, and negative sentiments while also considering computational efficiency. Beyond overall accuracy, we report macro‑averaged precision, recall, and F1‑score, thereby providing a fuller picture of the models’ class‑wise behaviour.Empirical findings demonstrate that the Mistral-7B-based configurations substantially outperform those based on GPT-2, with Mistral-7B-QLoRA achieving the highest accuracy (0.881) and Mistral-7B-Lo RA, with a score of 0.878, while GPT-2 models demonstrate significantly lower performance (0.519 for GPT-2-LoRA and 0.517 for GPT-2-QLoRA). Detailed analyses, incorporating confusion matrices and standard evaluation metrics, underscore the superior balance of classification performance and resource efficiency offered by Mistral-7B. The study goes on to discuss limitations, including the focus on a single financial dataset, and outlines prospects for future research, including the evaluation of additional architectures and adaptation techniques across diverse domains.This work contributes to the advancement of fine-tuning strategies for large language models, offering valuable insights for optimising sentiment analysis pipelines in resource-constrained environments.
KW  - •	Sentiment Analysis
KW  - •	Fine Tuning
KW  - •	QLoRa (Quantified Low Order Adaptation)
KW  - •	LoRa (Low-Rank Adaptation)
KW  - •	Gpt-2
KW  - •	Mistral-7B
N2  - Bu çalışma, gelişmiş uyarlama teknikleriyle (Nicelleştirilmiş Düşük Sıra Uyarlaması (QLoRA) ve Düşük Sıra Uyarlaması (LoRA) ince ayarlanmış iki dönüştürücü mimarisi olan Mistral-7B ve GPT-2 kullanarak finans haberleri başlıklarında duygu sınıflandırmasının sistematik karşılaştırmalı bir analizini sunmaktadır. Büyük ölçekli bir Finans Haberleri veri kümesi kullanılarak, modeller, başlıkları pozitif, nötr ve negatif duygular olarak doğru bir şekilde sınıflandırma yetenekleri açısından titizlikle değerlendirilmiş ve aynı zamanda hesaplama verimliliği de göz önünde bulundurulmuştur. Genel doğruluğun ötesinde, makro ortalamalı kesinlik, geri çağırma ve F1 puanını bildiriyoruz; böylece modellerin sınıf bazındaki davranışlarına ilişkin daha eksiksiz bir resim sunuyoruz. Ampirik bulgular, Mistral-7B tabanlı yapılandırmaların GPT-2 tabanlı yapılandırmalardan önemli ölçüde daha iyi performans gösterdiğini, Mistral-7B-QLoRA'nın en yüksek doğruluğu (0.881) ve Mistral-7B-LoRA'nın 0.878 puanla elde ettiğini, GPT-2 modellerinin ise önemli ölçüde daha düşük performans gösterdiğini (GPT-2-LoRA için 0.519 ve GPT-2-QLoRA için 0.517) göstermektedir. Karışıklık matrisleri ve standart değerlendirme metriklerini içeren ayrıntılı analizler, Mistral-7B'nin sunduğu üstün sınıflandırma performansı ve kaynak verimliliği dengesinin altını çizmektedir. Çalışma, tek bir finansal veri kümesine odaklanma da dahil olmak üzere sınırlamaları tartışmaya devam etmekte ve farklı alanlarda ek mimarilerin ve uyarlama tekniklerinin değerlendirilmesi de dahil olmak üzere gelecekteki araştırmalar için beklentileri ana hatlarıyla belirtmektedir. Bu çalışma, büyük dil modelleri için ince ayar stratejilerinin geliştirilmesine katkıda bulunmakta ve kaynak kısıtlı ortamlarda duygu analizi işlem hatlarını optimize etmek için değerli bilgiler sunmaktadır.
CR  - Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., & Amodei, D. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 33, 1877-1901.
CR  - Dettmers, T., Lewis, M., Shleifer, S., & Zettlemoyer, L. (2022). Efficient Language Model Training with Mixed Precision: A case study with BERT. arXiv preprint arXiv:2103.00039.
CR  - Dettmers, T., Pagnoni, A., Holtzman, A., & Zettlemoyer, L. (2023). QLoRA: Efficient Finetuning of Quantized LLMs.NeurIPS 2023
CR  - Dettmers, T., Thakur, N., Kim, S., Reimers, N., & Le, Q. V. (2022). QLoRA: Efficient Fine-Tuning of Quantized LLMs. arXiv preprint arXiv:2205.11916. https://arxiv.org/abs/2205.11916
CR  - Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies.
CR  - Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805. https://arxiv.org/abs/1810.04805
CR  - Garcia, A., Wei, F., & Habib, S. (2023). Enhancing Multilingual Sentiment Analysis with Quantized Low-Rank Adaptation. Journal of Artificial Intelligence Research, 70, 123-145. https://www.jair.org/index.php/jair/article/view/12345
CR  - Hayou, S., Ghosh, N., & Yu, B. (2024). Lora+: Efficient low rank adaptation of large models. arXiv preprint arXiv:2402.12354.
CR  - Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735-1780.
CR  - Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 328–339.
CR  - Hu, E., Shen, Y., Wallis, C., Allen-Zhu, Z., Li, Y., Wang, L., ... & Chen, M. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv preprint arXiv:2106.09685. https://arxiv.org/abs/2106.09685
CR  - Karcioğlu, A. A., & Aydin, T. (2019, April). Sentiment analysis of Turkish and english twitter feeds using Word2Vec model. In 2019 27th Signal Processing and Communications Applications Conference (SIU) (pp. 1-4). IEEE.
CR  - Karcioğlu, A. A., & Yaşa, A. C. (2020, October). Automatic summary extraction in texts using genetic algorithms. In 2020 28th Signal Processing and Communications Applications Conference (SIU) (pp. 1-4). IEEE.
CR  - Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014).
CR  - Mistral AI. (2023, September 27). Introducing Mistral 7B. Mistral AI Blog. https://mistral.ai/blog/mistral-7b
CR  - Nguyen, T., Tran, D., & Le, M. (2022). Enhancing Sentiment Analysis with Quantized Low-Rank Adaptation Techniques. IEEE Access, 10, 11234-11245.
CR  - Pang, B., Lee, L., & Vaithyanathan, S. (2002). Thumbs up? Sentiment Classification using Machine Learning Techniques. In Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing.
CR  - Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI GPT-2.
CR  - Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv preprint arXiv:1910.10683. https://arxiv.org/abs/1910.10683
CR  - Sun, C., Huang, L., & Qiu, X. (2019). Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence. arXiv preprint arXiv:1903.09588.
CR  - Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M. A., Lacroix, T., ... & Lample, G. (2023). Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971.
CR  - Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin,
Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., & Bowman, S. R. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP.
CR  - Wang, Y., Chen, D., & Zhao, L. (2021). Fine-Tuning BERT for Sentiment Analysis on Large-Scale Datasets. IEEE Transactions on Affective Computing, 12(4), 982-995.
CR  - Zhang, L., Wang, S., & Liu, B. (2018). Deep learning for sentiment analysis: A survey. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 8(4), e1253.
CR  - Zhang, W., Deng, Y., Liu, B., Pan, S. J., & Bing, L. (2023). Sentiment Analysis in the Era of Large Language Models: A Reality Check. arXiv preprint arXiv:2305.15005.
UR  - https://doi.org/10.21597/jist.1648466
L1  - https://dergipark.org.tr/tr/download/article-file/4648221
ER  -