TÜRKÇE METİN SINIFLANDIRMADA KELİME TEMSİL MODELLERİ VE TOPLULUK ÖĞRENME YÖNTEMLERİNİN KARŞILAŞTIRMALI İNCELENMESİ

Abstract

İnternete erişim ve sosyal medya kullanımının artmasıyla birlikte ortaya çıkan ve işlenen veri miktarı hızla artmaktadır. Metinsel veriler internet aracılığıyla toplanan verilerin önemli bir kısmını oluşturmaktadır. Büyük miktarda metin verisinin yapılandırılmamış ve insanlar tarafından işlenmesinin mümkün olmaması nedeniyle anlaşılmasını ve buna bağlı kararlar alınmasını zorlaştırmaktadır. Doğal dil işleme teknikleriyle metin verilerinin anlamlandırılması önemli bir çözüm olarak öne çıkmaktadır. Bu çalışma, Türkçe üç veri kümesi üzerinde makine öğrenmesi ve topluluk öğrenmesi yöntemlerinin performansını kelime temsil modellerinin etkinliği doğrultusunda karşılaştırmalı olarak incelemektedir. Deneysel bulgular, TF-IDF kelime temsil yönteminin üç veri kümesinde de GloVe ve fastText yöntemlerinde üstünlük sağladığını özellikle 7allV03 ve duygu veri kümelerinde belirgin performans farkı gözlemlenmiştir. Bireysel modeller arasında Lojistik Regresyon ve Destek Vektör Makineleri en yüksek başarıyı sergilerken Yığıtlama yöntemi 7allV03 ve duygu veri kümelerinde sırasıyla %91,04 ve %97,64 doğruluk değerleriyle hem bireysel modelleri hem de diğer topluluk öğrenmesi yöntemleri geride bırakmıştır. 

Keywords

• Kelime temsil yöntemleri
• Makine öğrenmesi
• Topluluk öğrenmesi
• Metin sınıflandırma

Comparative Analysis of Word Representation Models and Ensemble Learning Methods in Turkish Text Classification

Abstract

With the increasing access to the internet and the use of social media, the amount of data generated and processed is rapidly growing. Textual data constitutes a significant portion of the data collected via the internet. The unstructured nature of large volumes of text data and the impossibility of processing it manually by humans make it difficult to understand and make decisions based on it. Natural language processing techniques stand out as an important solution for making sense of text data. This study comparatively examines the performance of machine learning and ensemble learning methods on three Turkish datasets, in line with the effectiveness of word representation models. Experimental findings show that the TF-IDF word representation method outperforms GloVe and FastText across all three datasets, with particularly notable performance differences observed in the 7allV03 and emotion datasets. Among individual models, Logistic Regression and Support Vector Machines exhibited the highest success, while the Stacking method surpassed both individual models and other ensemble methods in the 7allV03 and emotion datasets, achieving accuracy values of 91.04% and 97.64%, respectively.

Keywords

• Word representation methods
• Machine learning
• Ensemble learning
• Text classification

References

1. Acar, M. (2024). Gürültülü Verilere Dayanıklı kNN Algoritması Temelli Yeni Bir İkili Sınıflandırma Algoritması. Bilişim Teknolojileri Dergisi, 17(4), 309-321. https://doi.org/10.17671/gazibtd.1534334
2. Afrifa, S., & Varadarajan, V. (2022). Cyberbullying detection on twitter using natural language processing and machine learning techniques. International Journal of Innovative Technology and Interdisciplinary Sciences, 5(4), 1069–1080. https://doi.org/10.15157/IJITIS.2022.5.4.1069-1080
3. Aksu, M. Ç., & Karaman, E. (2020). FastText ve Kelime Çantası Kelime Temsil Yöntemlerinin Turistik Mekanlar İçin Yapılan Türkçe İncelemeler Kullanılarak Karşılaştırılması. Avrupa Bilim ve Teknoloji Dergisi, (20), 311–320. https://doi.org/10.31590/ejosat.776629
4. Asan, M. E., Taskin, H., Alemdar, M., & Capoglu, R. (2024). Tiroit kanseri hastalık tanısında lojistik regresyon kullanımı. Journal of the Faculty of Engineering and Architecture of Gazi University, 39(3). doi.org/10.17341/gazimmfd.1253193
5. Aydoğan, M., & Karcı, A. (2019). Kelime Temsil Yöntemleri ile Kelime Benzerliklerinin İncelenmesi. Çukurova Üniversitesi Mühendislik-Mimarlık Fakültesi Dergisi, 34(2), 181-196. https://doi.org/10.21605/cukurovaummfd.609119
6. Baran, H., & Başarslan, M. S. (2025). Makine Öğrenmesi ve Topluluk Öğrenmesi ile Nefret Söylemi Sınıflandırması. Veri Bilimi, 8(1), 56–65.
7. Baykara, B., & Güngör, T. (2023). Turkish abstractive text summarization using pretrained sequence-to-sequence models. Natural Language Engineering, 29(5). https://doi.org/10.1017/s1351324922000195
8. Beşli, N., & Tenekeci, E. (2020). Uydu verilerinden karar ağaçları kullanarak orman yangını tahmini. Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi, 11(3), 899-906. https://doi.org/10.24012/dumf.661925

9. Bilgin, M. (2018). Makine öğrenmesi. İstanbul: Papatya Yayınları.
10. Bilgin, M., & Eser, M. (2022). Denetimli Makine Öğrenmesi Algoritmaları - R ve Python Uygulamaları (A. Bayram Nuran, S. Gürsakal, & M. Engin, Eds.; pp. 101–117). Nobel Yayınevi.
11. Bojanowski, P., Grave, E., Joulin, A., & Mikolov, T. (2017). Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, 5, 135–146. https://doi.org/10.1162/tacl_a_00051
12. Bozkurt, A. H., & Yalçın, N. (2024). Topluluk Öğrenmesi Algoritmaları Kullanarak Amazon Yemek Yorumları Üzerine Duygu Analizi. Bilecik Şeyh Edebali Üniversitesi Fen Bilimleri Dergisi, 11(1), 128-139. https://doi.org/10.35193/bseufbd.1300732
13. Camacho-Collados, J., Rezaee, K., Riahi, T., Ushio, A., Loureiro, D., Antypas, D., Boisson, J., Anke, L. E., Liu, F., & Martínez-Cámara, E. (2022). TweetNLP: Cutting-edge natural language processing for social media. Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 38–49. https://doi.org/10.18653/v1/2022.emnlp-demos.5
14. Ciplak, Z., & Yildiz, K. (2024). Occupational groups prediction in Turkish Twitter data by using machine learning algorithms with multinomial approach. Expert Systems with Applications, 252, 124175. https://doi.org/10.1016/j.eswa.2024.124175
15. Çılgın, C., Gökçen, H., & Gökşen, Y. (2023). Sentiment analysis of public sensitivity to COVID-19 vaccines on Twitter by majority voting classifier-based machine learning. Journal of the Faculty of Engineering and Architecture of Gazi University, 38(2). http://doi.org/10.17341/gazimmfd.1030198
16. Çöltekin, Ç. (2020). A corpus of Turkish offensive language on social media. Proceedings of the Twelfth Language Resources and Evaluation Conference, 6174–6184.
17. Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine Learning, 20(3), 273–297.
18. Derczynski, L., Maynard, D., Rizzo, G., Van Erp, M., Gorrell, G., Troncy, R., Petrak, J., & Bontcheva, K. (2015). Analysis of named entity recognition and linking for tweets. Information Processing & Management, 51(2), 32–49. https://doi.org/10.1016/j.ipm.2014.10.006
19. Gelemet, Ö., Aydın, H., & Çetinkaya, A. (2022). Netflix verileri üzerinde TF-IDF algoritması ve Kosinüs benzerliği ile bir İçerik Öneri Sistemi Uygulaması. AJIT-E: Academic Journal of Information Technology, 13(48), 31-52. https://doi.org/10.5824/ajite.2022.01.002.x
20. Gürsakal, S., Barca, O., & Tütüncü, E. T. (2022). Denetimli Makine Öğrenmesi Algoritmaları - R ve Python Uygulamaları (A. Bayram Nuran, S. Gürsakal, & M. Engin, Eds.; pp. 101–117). Nobel Yayınevi.
21. Harman, G. (2021). Destek Vektör Makineleri ve Naive Bayes Sınıflandırma Algoritmalarını Kullanarak Diabetes Mellitus Tahmini. Avrupa Bilim Ve Teknoloji Dergisi, 32, 7-13. https://doi.org/10.31590/ejosat.1041186
22. Hasan, M. R., Maliha, M., & Arifuzzaman, M. (2019). Sentiment analysis with NLP on Twitter data. 2019 International Conference on Computer, Communication, Chemical, Materials and Electronic Engineering (IC4ME2), 1–4. https://doi.org/10.1109/IC4ME247184.2019.9036670
23. Junaid, T., Sumathi, D., Sasikumar, A. N., Suthir, S., Manikandan, J., Khilar, R., Kuppusamy, P. G., & Janardhana Raju, M. (2022). A comparative analysis of transformer based models for figurative language classification. Computers and Electrical Engineering, 101. https://doi.org/10.1016/j.compeleceng.2022.108051
24. Karaca, M. F., & Bayır, Ş. (2024). Türkçe doğal dil işleme: ses bilgisi ve morfolojik analiz. Journal of Innovative Engineering and Natural Science, 4(2), 448–465. https://doi.org/10.61112/jiens.1472513
25. Kilimci, Z. H. (2019). Borsa tahmini için Derin Topluluk Modellleri (DTM) ile finansal duygu analizi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 35(2), 635-650. https://doi.org/10.17341/gazimmfd.501551
26. Kilimci, Z. H. (2020b). Financial sentiment analysis with Deep Ensemble Models (DEMs) for stock market prediction. Journal of the Faculty of Engineering and Architecture of Gazi University, 35(2), 635–650. https://doi.org/10.17341/gazimmfd.501551
27. Kınık, D., & Güran, A. (2021). TF-IDF ve Doc2Vec Tabanlı Türkçe Metin Sınıflandırma Sisteminin Başarım Değerinin Ardışık Kelime Grubu Tespiti ile Arttırılması. Avrupa Bilim Ve Teknoloji Dergisi, 21, 323-332. https://doi.org/10.31590/ejosat.774144
28. Klein, A. Z., Magge, A., O’Connor, K., Flores Amaro, J. I., Weissenbacher, D., & Gonzalez Hernandez, G. (2021). Toward using Twitter for tracking COVID-19: a natural language processing pipeline and exploratory data set. Journal of Medical Internet Research, 23(1), e25314. https://doi.org/10.2196/25314
29. Metin, S. (2021). OECD Endüstriyel Üretim Verilerinde Bulunan Kayıp Verilerin kNN Yöntemi İle Tahmini. Anemon Muş Alparslan Üniversitesi Sosyal Bilimler Dergisi, 9(4), 955-967. https://doi.org/10.18506/anemon.888642
30. Onan, A. (2018). Ensemble learning based feature selection with an application to text classification. 2018 26th Signal Processing and Communications Applications Conference (SIU), 1–4. https://doi.org/10.1109/SIU.2018.8404258
31. Patil, R., Boit, S., Gudivada, V., & Nandigam, J. (2023). A Survey of Text Representation and Embedding Techniques in NLP. IEEE Access, 11, 36120–36146. https://doi.org/10.1109/ACCESS.2023.3266377
32. Pennington, J., Socher, R., & Manning, C. D. (2014). Glove: Global vectors for word representation. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), 1532–1543.
33. Su, M., & Takcı, H. (2023). Naive Bayes İle Otistik Spektrum Bozukluğu Tanısı Koyma. Şırnak Üniversitesi Fen Bilimleri Dergisi, 3(2), 50-62.
34. Tantuğ, A. C. (2016). Metin sınıflandırma. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 5(2).
35. Ozcan, İ., Tasar, B., Tatar, A. B., & Yakut, O. (2019). Destek Vektör Makinasi Algoritması ile Kalp Hastalıklarının Tahmini. Computer Science, 4(2), 74-79. https://izlik.org/JA42TK43SD
36. Tintin, R., & Yücebaş, S. C. (2026). Duygu-Turk: A Context-Aware Sentiment Analysis Framework for Turkish, Based on Plutchik’s Emotion Model. Journal of Universal Computer Science, 32(4). http://doi.org/10.3897/jucs.160588
37. Uçkan, T., Hark, C., Seyyarer, E., & Karcı, A. (2019). Ağırlıklandırılmış Çizgelerde Tf-Idf ve Eigen Ayrışımı Kullanarak Metin Sınıflandırma. Bitlis Eren Üniversitesi Fen Bilimleri Dergisi, 8(4), 1349-1362. https://doi.org/10.17798/bitlisfen.531221
38. Yildirim, P., Birant, K. U., Radevski, V., Kut, A., & Birant, D. (2018). Comparative analysis of ensemble learning methods for signal classification. 2018 26th Signal Processing and Communications Applications Conference (SIU), 1–4. https://doi.org/10.1109/SIU.2018.8404601
39. Yıldırım, S., & Yıldız, T. (2018). Türkçe için karşılaştırmalı metin sınıflandırma analizi. Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi, 24(5), 879-886.
40. Jolosı Zada, A. J., & Albayrak, A. (2023). Duygu Analizi ve Topluluk Öğrenmesi Yaklaşımları ile Kullanıcı Yorumlarının Analizi. Duzce University Journal of Science and Technology, 11(4), 1725-1732. https://doi.org/10.29130/dubited.1102181