Türkçe ABSA’da Büyük Dil Modeli Tabanlı Otomatik Etiketleme: Başarılar ve Zorluklar

Öz

Bu araştırma, Türkçe restoran yorumlarında Hedefe Yönelik Duygu Analizi kapsamında, GPT-4o tabanlı otomatik etiketlemenin manuel etiketlemeye (SemEval) kıyasla etkinliğini incelemektedir. Araştırmada hedef terim çıkarımı (ATE), kategori ve duygu sınıflandırma alt görevleri; SVM, BiLSTM, MLP ve BERTurk modelleri kullanılarak SemEval, GPT-4o ve Birleştirilmiş veri düzenlerinde değerlendirilmiştir. Deneysel karşılaştırma, otomatik etiketlerin tek başına ve manuel veri ile birlikte kullanıldığında farklı görevlerde nasıl bir performans profili oluşturduğunu ortaya koymayı hedeflemektedir. Bulgulara göre, ATE görevinde SemEval üzerinde SVM yüksek geri çağırım ile öne çıkmıştır (Recall=0,8463; F1=0,7265). Duygu sınıflandırmasında en yüksek başarıya Birleştirilmiş düzende BERTurk ile ulaşılmıştır (F1=0,8336; doğruluk=0,9255); bu sonuç, daha geniş ve çeşitli veride bağlamsal temsillerin avantajını desteklemektedir. Kategori sınıflandırmasında ise en iyi sonuçlar Birleştirilmiş düzende SVM (F1=0,5183) ve BERTurk (F1=0,5108) tarafından üretilmiş; sınıf sayısının yüksek ve sınırların bulanık olduğu bu görevde performansın daha sınırlı kaldığı görülmüştür. Genel olarak sonuçlar, otomatik etiketlemenin özellikle duygu gibi daha net sınıf sınırlarına sahip görevlerde rekabetçi bir veri kaynağı sunduğunu; kategori gibi daha zor görevlerde ise etiket tutarlılığı, sınıf dengesizliği ve görev-model uyumunun belirleyici olduğunu göstermektedir. Bu çalışma, farklı model ailelerini birlikte karşılaştırarak otomatik etiketli verinin hangi koşullarda daha güvenilir biçimde kullanılabileceğine ilişkin pratik bir değerlendirme çerçevesi sunmaktadır.

Anahtar Kelimeler

• ABSA
• GPT-4o
• otomatik etiketleme
• Türkçe duygu analizi

Etik Beyan

Bu makalenin yazar(lar)ı çalışmalarında kullandıkları materyal ve yöntemlerin etik kurul izni ve/veya yasal-özel bir izin gerektirmediğini beyan ederler.

Large Language Model-Based Automatic Labeling inTurkish ABSA: Achievements and Difficulties

Öz

This study evaluates the effectiveness of GPT-4o-based automatic labeling compared with manual annotation (SemEval) in the context of Aspect-Based Sentiment Analysis (ABSA) on Turkish restaurant reviews. The sub-tasks of aspect term extraction (ATE), category classification, and sentiment classification are evaluated using SVM, BiLSTM, MLP, and BERTurk models across SemEval, GPT-4o, and Combined data settings. The experimental comparison aims to reveal the performance profiles formed when automatic labels are used alone versus in conjunction with manual data. Findings indicate that for the ATE task, SVM stands out on the SemEval dataset with high recall (Recall=0.8463; F1=0.7265). In sentiment classification, the highest success was achieved with BERTurk in the Combined setting (F1=0.8336; Accuracy=0.9255), supporting the advantage of contextual representations in larger and more diverse data. In category classification, the best results were produced by SVM (F1=0.5183) and BERTurk (F1=0.5108) in the Combined setting, although performance remained more limited due to the high number of classes and fuzzy boundaries inherent to this task. Overall, the results demonstrate that automatic labeling offers a competitive data source for tasks with clearer class boundaries, such as sentiment analysis, while factors like label consistency, class imbalance, and task-model fit are decisive for harder tasks like category classification. By comparing different model families together, this study presents a practical evaluation framework regarding the conditions under which automatically labeled data can be used most reliably.

Anahtar Kelimeler

• ABSA
• GPT-4o
• automatic labeling
• Turkish sentiment analysis

Etik Beyan

The author(s) of this article declare that the materials and methods used in the study do not require ethics committee approval and/or legal–special permission.

Kaynakça

1. [1] Çetin F. S., Eryiğit G., “Türkçe hedef tabanlı duygu analizi için alt görevlerin incelenmesi – Hedef terim, hedef kategori ve duygu sınıfı belirleme”, Bilişim Teknolojileri Dergisi, 11(1): 43–56, (2018).
2. [2] Mutlu M. M., Özgür A., “A dataset and BERT-based models for targeted sentiment analysis on Turkish texts”, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, 467–472, (2022).
3. [3] Brauwers G., Frasincar F., “A survey on aspect-based sentiment classification”, , 55(4): 1–37, (2022).
4. [4] Rathje S., Mirea D., Sucholutsky I., Marjieh R., Robertson C., Van Bavel J. J., “GPT is an effective tool for multilingual psychological text analysis”, Proceedings of the National Academy of Sciences (PNAS), 121(34): e2308950121, (2024).
5. [5] Fu Z., Hsu Y., Chan C., Lau C., Liu J., Yip P., “Efficacy of ChatGPT in Cantonese sentiment analysis: Comparative study”, Journal of Medical Internet Research, 26: e51069, (2024).
6. [6] Aydın C. R., Güngör T., “Sentiment analysis in Turkish: Supervised, semi-supervised, and unsupervised techniques”, Natural Language Engineering, 27(4): 455–483, (2021).
7. [7] Sak H., Güngör T., Saraçlar M., “Resources for Turkish morphological processing”, Language Resources and Evaluation, 45(2): 249–261, (2011).
8. [8] Pontiki M., Galanis D., Papageorgiou H., Androutsopoulos I., Manandhar S., “SemEval-2016 Task 5: Aspect Based Sentiment Analysis”, Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016), 19–30, (2016).

9. [9] Çetin F. S., Yıldırım E., Özbey C., Eryiğit G., “TGB at SemEval-2016 Task 5: Multi-lingual constraint system for aspect-based sentiment analysis”, Proceedings of SemEval-2016, 337–341, (2016).
10. [10] Zeybek S., Koç E., Seçer A., “MS-TR: A morphologically enriched sentiment treebank for Turkish”, Cogent Engineering, 8(1): 1893621, (2021).
11. [11] Dehkharghani R., Saygin Y., Yanikoglu B., Oflazer K., “SentiTurkNet: A Turkish polarity lexicon for sentiment analysis”, Language Resources and Evaluation, 50(3): 667–685, (2016).
12. [12] Zhou Y., Muresanu A. I., Han Z., Paster K., Pitis S., Chan H., Ba J., “Large language models are human-level prompt engineers”, The Eleventh International Conference on Learning Representations (ICLR), (2023).
13. [13] Liu P., Yuan W., Fu J., Jiang Z., Hayashi H., Neubig G., “Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing”, ACM Computing Surveys, 55(9): 1–35, (2023).
14. [14] Brown T. B., Mann B., Ryder N., Subbiah M., Kaplan J. D., Dhariwal P., … Amodei D., “Language models are few-shot learners”, Advances in Neural Information Processing Systems (NeurIPS 33), 1877–1901, (2020).
15. [15] Zhao W. X., Zhou K., Li J., Tang T., Wang X., Hou Y., … Wen J.-R., “A survey of large language models”, arXiv preprint, arXiv:2303.18223, (2023).
16. [16] Sun C., Huang L., Qiu X., “Utilizing BERT for aspect-based sentiment analysis via constructing auxiliary sentence”, Proceedings of NAACL-HLT 2019, 380–385, (2019).
17. [17] Aydın N., Erdem O. A., Tekerek A., “Comparative Analysis of Traditional Machine Learning and Transformer-Based Deep Learning Models for Text Classification”, Politeknik Dergisi, 28(2): 445–452, (2025).
18. [18] Bilen B., Horasan F., “LSTM Network based Sentiment Analysis for Customer Reviews”, Politeknik Dergisi, 25(3): 959–966, (2022).
19. [19] Demirel U., Çam H., “Investigation of fluctuations in cryptocurrency transactions with sentiment analysis”, Politeknik Dergisi, 28(3): 773–784, (2025).
20. [20] Tuna M. F., Polatgil M., Kaynar O., “Restoran müşterilerinin geri bildirimleri üzerinde hedef kategorinin tespiti ve hedef tabanlı duygu analizi”, Süleyman Demirel Üniversitesi Vizyoner Dergisi, 14(40): 1205–1221, (2023).
21. [21] Chawla N. V., Bowyer K. W., Hall L. O., Kegelmeyer W. P., “SMOTE: Synthetic minority over-sampling technique”, Journal of Artificial Intelligence Research, 16: 321–357, (2002).
22. [22] Bojanowski P., Grave E., Joulin A., Mikolov T., “Enriching word vectors with subword information”, Transactions of the Association for Computational Linguistics (TACL), 5: 135–146, (2017).
23. [23] Devlin J., Chang M.-W., Lee K., Toutanova K., “BERT: Pre-training of deep bidirectional transformers for language understanding”, Proceedings of NAACL-HLT 2019 (Long and Short Papers), 4171–4186, (2019).
24. [24] Schweter S., “BERTurk – BERT models for Turkish”, Zenodo (software record), (2020).
25. [25] Reimers N., Gurevych I., “Sentence-BERT: Sentence embeddings using Siamese BERT-networks”, Proceedings of EMNLP–IJCNLP 2019, 3982–3992, (2019).