Imb-LLMClass: Dengesiz Metin Sınıflandırmasına Yönelik Büyük Dil Modeli Tabanlı Bir Sınıflandırma Çerçevesi

Abstract

Sınıf dengesizliği, özellikle azınlık sınıfına ait örneklerin yetersiz temsil edilmesi nedeniyle metin sınıflandırma görevlerinde önemli bir zorluk oluşturmaktadır. Dengesiz veri kümeleri üzerinde eğitilen geleneksel makine öğrenmesi yöntemleri, çoğunluk sınıflarına yönelik bir yanlılık gösterme eğiliminde olup, bu durum azınlık sınıfı örneklerini doğru şekilde sınıflandırma yeteneklerini sınırlandırmaktadır. Bu sorunu ele almak amacıyla, bu çalışmada dengesiz metin verileri üzerinde büyük dil modeli tabanlı sınıflandırma yaklaşımlarının etkinliğini araştırmak için Imb-LLMClass adı verilen bir sınıflandırma çerçevesi önerilmektedir. Deneysel sonuçlar, önerilen Imb-LLMClass çerçevesinin üç deneysel tekrarın ortalaması üzerinden değerlendirildiğinde karşılaştırılan yöntemler arasında en yüksek performansı elde ettiğini ve üç veri kümesi genelinde 0.878 Makro F1-Skoru ile 0.870 Dengeli Doğruluk değerine ulaştığını ortaya koymuştur. Bunun yanında, azınlık sınıfı duyarlılığının ortalama 0.834 seviyesine yükselmesi, önerilen yaklaşımın yalnızca genel sınıflandırma performansını artırmakla kalmayıp aynı zamanda yetersiz temsil edilen sınıfların öğrenilmesini de geliştirdiğini göstermektedir. Bu bulgular, dengesiz metin sınıflandırma problemlerinde büyük dil modellerinin yalnızca genel performans ölçütleri üzerinden değil, azınlık sınıfları temsil etme kapasitesi açısından da değerlendirilmesinin yararlı olabileceğini göstermektedir.

Keywords

• Büyük Dil Modelleri
• Metin Sınıflandırması
• Dengesiz Veri
• Sentetik Veri Üretimi
• Sınıf Ağırlıklı Öğrenme
• Büyük Dil Modeli Tabanlı Sınıflandırma

Imb-LLMClass: A Large Language Model-Based Framework for Imbalanced Text Classification

Abstract

Abstract: Class imbalance constitutes a significant challenge in text classification tasks, particularly due to the insufficient representation of minority-class instances. Traditional machine learning methods trained on imbalanced datasets tend to exhibit a bias toward majority classes, thereby limiting their ability to accurately classify minority-class samples. To address this issue, this study proposes a classification framework, termed Imb-LLMClass, to investigate the effectiveness of large language model-based classification approaches for imbalanced text data. Experimental results demonstrate that the proposed Imb-LLMClass framework achieved the highest performance among the compared methods when evaluated based on the average of three experimental runs, attaining a Macro F1-Score of 0.878 and a Balanced Accuracy of 0.870 across three datasets. Furthermore, the increase in the average minority-class recall to 0.834 indicates that the proposed approach not only improves overall classification performance but also enhances the learning of underrepresented classes. These findings indicate that, in imbalanced text classification tasks, evaluating large language models solely based on overall performance metrics may be insufficient and that their ability to effectively represent minority classes should also be taken into consideration.

Keywords

• Large Language Models
• Text Classification
• Imbalanced Data
• Synthetic Data Generation
• Class-Weighted Learning
• LLM-Based Classification

References

1. [1] Susan, S., Kumar, A. 2021. The balancing trick: Optimized sampling of imbalanced datasets—A brief survey of the recent state of the art. Engineering Reports, 3(4).
2. [2] Aubaidan, B. H., Kadir, R. A., Lajb, M. T., Anwar, M., Qureshi, K. N., Taha, B. A., Ghafoor, K. 2025. A review of intelligent data analysis: Machine learning approaches for addressing class imbalance in healthcare - challenges and perspectives. Intelligent Data Analysis: An International Journal, 29(3), 699-719.
3. [3] Chawla, N. V., Bowyer, K. W., Hall, L. O., Kegelmeyer, W. P. 2002. SMOTE: Synthetic Minority Over-sampling Technique. Journal of Artificial Intelligence Research, 16, 321-357.
4. [4] Li, X., Roth, D. 2002. Learning question classifiers. Proceedings of the 19th International Conference on Computational Linguistics, 1-7.
5. [5] Saravia, E., Liu, H. C. T., Huang, Y. H., Wu, J., Chen, Y. S. 2018. CARER: Contextualized Affect Representations for Emotion Recognition. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 3687-3697.
6. [6] Çöltekin, Ç. 2020. A corpus of Turkish offensive language on social media. Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), 6174-6184, Marseille, France. European Language Resources Association. URL: https://aclanthology.org/2020.lrec-1.758/
7. [7] Indrawati, A., Subagyo, H., Sihombing, A., Wagiyah, W., Afandi, S. 2020. Analyzing the impact of resampling method for imbalanced data text in Indonesian scientific articles categorization. BACA: Jurnal Dokumentasi dan Informasi, 41(2), 133-141.
8. [8] Mahmoudi, L., Salem, M., Alharbe, N. R. 2026. Addressing class imbalance in text classification with LLMs: A prompt-based GPT-2 approach. Journal of Information Science , 52(3), 908-922.

9. [9] Devlin, J., Chang, M. W., Lee, K., Toutanova, K. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171-4186.
10. [10] Mahmoudi, L., Salem, M. 2023. BalBERT: A new approach to improving dataset balancing for text classification. Revue d'Intelligence Artificielle, 37(2), 425-431.
11. [11] Taskiran, S. F., Turkoglu, B., Kaya, E., Asuroglu, T. 2025. A comprehensive evaluation of oversampling techniques for enhancing text classification performance. Scientific Reports, 15(1), 21631.
12. [12] Al-harbi, N. K., Alghieth, M. 2025. Assessing BERT-based models for Arabic and low-resource languages in crime text classification. PeerJ Computer Science, 11, e3017.
13. [13] Ding, B., Qin, C., Zhao, R., Luo, T., Li, X., Chen, G., Xia, W., Hu, J., Luu, A. T., Joty, S. 2024. Data Augmentation using Large Language Models: Data Perspectives, Learning Paradigms and Challenges.
14. [14] Long, L., Wang, R., Xiao, R., Zhao, J., Ding, X., Chen, G., Wang, H. 2024. On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey. Findings of the Association for Computational Linguistics ACL 2024, 11065-11082.
15. [15] Belbekri, A., Bouarroudj, W., Benchikha, F., Boufaida, Z. 2025. Semantics-based oversampling for imbalanced named entity recognition datasets using Word2Vec embeddings. Intelligent Data Analysis: An International Journal, 29(6), 1520-1535.
16. [16] Nakada, R., Xu, Y., Li, L., Zhang, L. 2024. Synthetic Oversampling: Theory and A Practical Approach Using LLMs to Address Data Imbalance.
17. [17] Cegin, J., Simko, J., Brusilovsky, P. 2025. LLMs vs Established Text Augmentation Techniques for Classification: When do the Benefits Outweight the Costs?. In Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies, 10476-10496.
18. [18] Saad, M., Abbas, M., Kumar, S., Samad, A. 2025. HU at SemEval-2025 Task 9: Leveraging LLM-Based Data Augmentation for Class Imbalance. In Proceedings of the 19th International Workshop on Semantic Evaluation, 1593-1601.
19. [19] Arık, A. O., Parlayandemir, G., Çelik, S. 2026. LLM-based data augmentation for text classification on imbalanced datasets: A case study on fake news detection. Egyptian Informatics Journal, 33, 100886.
20. [20] Brodersen, K. H., Ong, C. S., Stephan, K. E., Buhmann, J. M. 2010. The Balanced Accuracy and Its Posterior Distribution. 2010 20th International Conference on Pattern Recognition, 3121-3124.
21. [21] Hu, L., Dolan, P., Li, C., Wang, W., Pang, B., Shang, Y. 2026. Improving text classification on small-sized, imbalanced datasets with selective few-random-shot augmentation. Applied Intelligence, 56(9), 318.
22. [22] Kuo, H. Y., Liao, Y. H., Chao, Y. C., Ma, W. Y., Cheng, P. J. 2025. Not all LLM-generated data are equal: Rethinking data weighting in text classification. Proceedings of the International Conference on Learning Representations.