Evaluating Minority-Class Detection in Imbalanced Hate Speech Data via GAN-Based Synthetic Text Generation and LSHADE Hyperparameter Optimization

Öz

The rapid spread of hate speech on social media makes automatic detection systems indispensable; however, severe class imbalance in real-world datasets substantially limits the effectiveness of deep learning models. This study proposes an end-to-end framework that integrates a Long Short-Term Memory (LSTM) generator and a one-dimensional Convolutional Neural Network (1D-CNN) discriminator within aWGAN-GP architecture to address the imbalance problem in the Davidson hate speech dataset, where the minority class represents only 5.77% of all samples. To mitigate the training instability of standard GANs and the high computational cost of conventional grid search, the LSHADE metaheuristic is employed to autonomously optimize the main GAN hyperparameters. Experimental findings indicate that the LSHADE-optimized WGAN-GP learns the minority-class distribution without evident overfitting and produces high-quality synthetic samples that enrich the training data. When the augmented dataset is used for downstream classification, the test Macro-F1 score improves from 0.6411 to 0.6550 compared with the baseline trained on the original data only. Moreover, the number of correctly identified minority-class instances increases from 16 to 25. Multi-run evaluation with three random seeds yields very low standard deviations, especially 0.0019 on the test set, confirming the robustness and stability of the proposed pipeline.

Anahtar Kelimeler

• Hate Speech Detection
• Generative Adversarial Networks
• Metaheuristic Optimization
• Class Imbalance
• LSHADE
• SMOTE
• ADASYN

Destekleyen Kurum

Gazi University

Etik Beyan

Ethics Approval and Consent to Participate: The study uses a publicly available secondary dataset and does not involve direct interaction with human participants. Because the work includes the synthetic generation of hate-speech-like text, generated outputs were handled only within a controlled research setting and are reported at aggregate level in order to reduce misuse risk. Availability of Data and Materials: The Davidson hate speech dataset used in this study is publicly available through the source reported in the cited literature. To support reproducibility, the manuscript explicitly reports the split protocol, preprocessing procedure, optimization objective, best hyperparameter configuration, and per-split evaluation summaries. The present submission does not include a full software release, but the experimental workflow is described in a configuration-driven manner to facilitate independent replication. Competing Interests: The authors declare no competing interests. Funding: This research received no external funding. Authors’ Contributions: Bekir Demirağ contributed to conceptualization, methodology, software development, experiments, and original draft preparation. Yusuf Sönmez and Hamdi Tolga Kahraman contributed to supervision, review, and manuscript editing.

Teşekkür

The authors thank the Department of Computer Engineering at Gazi University for its academic support during the preparation of this study.

Dengesiz Nefret Söylemi Veri Kümelerinde GAN Tabanlı Sentetik Veri Üretiminin Azınlık Sınıfı Tespit Performansına Etkisi ve GAN Hiperparametrelerinin Meta-Sezgisel Optimizasyon ile Değerlendirilmesi

Öz

Sosyal medyada nefret söyleminin hızla yayılması, otomatik tespit sistemlerini zorunlu hâle getirmektedir; ancak gerçek dünya veri kümelerindeki şiddetli sınıf dengesizliği, derin öğrenme modellerinin etkinliğini önemli ölçüde sınırlandırmaktadır. Bu çalışma, azınlık sınıfının tüm örneklerin yalnızca %5.77’sini oluşturduğu Davidson nefret söylemi veri kümesindeki dengesizlik problemini çözmek amacıyla, Uzun Kısa-Süreli Bellek (LSTM) tabanlı bir üretici ve bir boyutlu Evrişimli Sinir Ağı (1D-CNN) tabanlı bir ayırt edici ağı WGAN-GP mimarisi altında birleştiren uçtan uca bir çerçeve önermektedir. Standart GAN’ların eğitim kararsızlığını ve geleneksel ızgara aramasının yüksek hesaplama maliyetini azaltmak için temel GAN hiperparametreleri LSHADE meta-sezgisel algoritması ile otonom biçimde optimize edilmiştir. Deneysel bulgular, LSHADE ile optimize edilen WGAN-GP modelinin belirgin bir aşırı öğrenmeye yol açmadan azınlık sınıfı dağılımını öğrendiğini ve eğitim verisini zenginleştiren yüksek kaliteli sentetik örnekler ürettiğini göstermektedir. Sentetik olarak artırılmış veri kümesi ile test Macro-F1 skoru, yalnızca özgün verilerle eğitilen temel modele kıyasla 0.6411’den 0.6550’ye yükselmiştir. Ayrıca, doğru tespit edilen azınlık sınıfı örnek sayısı 16’dan 25’e çıkmıştır. Üç farklı rastgele çekirdek ile yürütülen çoklu koşu değerlendirmesinde, özellikle test kümesinde elde edilen 0.0019 standart sapma değeri, önerilen boru hattının istatistiksel olarak kararlı ve tekrarlanabilir olduğunu doğrulamaktadır.

Anahtar Kelimeler

• Nefret Söylemi Tespiti
• Üretici Çekişmeli Ağlar
• Meta-Sezgisel Optimizasyon
• Sınıf Dengesizliği
• LSHADE
• SMOTE
• ADASYN

Destekleyen Kurum

Gazi Üniversitesi

Etik Beyan

Etik Onay ve Katılım Onayı: Çalışma, kamuya açık ikincil bir veri kümesini kullanmakta olup insan katılımcılarla doğrudan etkileşim içermemektedir. Çalışma nefret söylemine benzer sentetik metin üretimini içerdiğinden, üretilen çıktılar yalnızca kontrollü bir araştırma ortamında ele alınmış ve kötüye kullanım riskini azaltmak amacıyla yalnızca toplulaştırılmış düzeyde raporlanmıştır. Veri ve Materyallerin Erişilebilirliği: Bu çalışmada kullanılan Davidson nefret söylemi veri kümesi, atıf yapılan kaynak üzerinden kamuya açık biçimde erişilebilmektedir. Tekrarlanabilirliği desteklemek için makalede veri bölme protokolü, ön işleme süreci, optimizasyon amacı, en iyi hiperparametre yapılandırması ve küme bazlı değerlendirme özetleri açık biçimde raporlanmıştır. Bu sürüm tam bir yazılım yayını içermemekle birlikte deneysel iş akışı, bağımsız yeniden üretimi kolaylaştıracak şekilde yapılandırma güdümlü olarak açıklanmıştır. Çıkar Çatışması:Yazarlar herhangi bir çıkar çatışması beyan etmemektedir. Finansman: Bu araştırma herhangi bir dış fon almamıştır. Yazar Katkıları: Bekir Demirağ kavramsallaştırma, yöntem, yazılım geliştirme, deneyler ve ilk taslağın hazırlanmasına katkı sunmuştur. Yusuf Sönmez ve Hamdi Tolga Kahraman ise danışmanlık, gözden geçirme ve makale düzenleme süreçlerine katkıda bulunmuştur.

Teşekkür

Yazarlar, bu çalışmanın hazırlanması sürecindeki akademik desteği için Gazi Üniversitesi Bilgisayar Mühendisliği Bölümüne teşekkür eder.

Kaynakça

1. [1] T. T. Nguyen, X. Yue, H. Mane, K. Seelman, P. S. P. Mullaputi, E. Dennard, J. S. Merchant, S. Criss, Y. Hswen, and Q. C. Nguyen, “Decoding digital discourse through multimodal text and image machine learning models to classify sentiment and detect hate speech in race- and LGBTQIA-related posts on social media: Quantitative study,” Journal of Medical Internet Research, vol. 27, e70053, 2025.
2. [2] Y. Yadav, P. Bajaj, R. K. Gupta, and R. Sinha, “A comparative study of deep learning methods for hate speech and offensive language detection in textual data,” in 2021 IEEE 18th IndiaCouncil International Conference (INDICON), 2021, pp. 1–6.
3. [3] O. Baydogan and B. Alatas, “Metaheuristic ant lion and moth flame optimization-based novel approach for automatic detection of hate speech in online social networks,” IEEE Access, vol. 9, 2021, pp. 110047–110062, doi: 10.1109/ACCESS.2021.3102596.
4. [4] A. Luque, A. Carrasco, A. Martin, and A. de las Heras, “The impact of class imbalance in classification performance metrics based on the binary confusion matrix,” Pattern Recognition, vol. 91, 2019, pp. 216–231, doi: 10.1016/j.patcog.2019.02.023.
5. [5] N. V. Chawla, K. W. Bowyer, L. O. Hall, and W. P. Kegelmeyer, “SMOTE: Synthetic minority over-sampling technique,” Journal of Artificial Intelligence Research, vol. 16, 2002, pp. 321–357, doi: 10.1613/jair.953.
6. [6] H. He, Y. Bai, E. A. Garcia, and S. Li, “ADASYN: Adaptive synthetic sampling approach for imbalanced learning,” in 2008 IEEE International Joint Conference on Neural Networks, 2008, pp. 1322–1328, doi: 10.1109/IJCNN.2008.4633969.
7. [7] Ding, H., Sun, Y., Wang, Z., Huang, N., Shen, Z., and Cui, X., “RGAN-EL: A GAN and ensemble learning-based hybrid approach for imbalanced data classification,” Information Processing & Management, Vol. 60, 2023, 103235, doi: 10. 1016/j.ipm.2022.103235.
8. [8] Ahsan, M. M., Ali, M. S., and Siddique, Z., “En-hancing and improving the performance of im¬balanced class data using novel GBO and SSG: A comparative analysis,” Neural Networks, Vol. 173, 2024, 106157, doi: 10.1016/j.neunet.2024.106157.

9. [9] Gurcan, F. and Soylu, A., “Synthetic boosted resampling using deep generative adversarial networks: A novel approach to improve can¬cer prediction from imbalanced datasets,” Can¬cers, Vol. 16, 2024, 4046, doi: 10.3390/cancers16234046.
10. [10] Imran, A. S., Yang, R., Kastrati, Z., Daud-pota, S. M., and Shaikh, S., “The impact of synthetic text generation for sentiment analy¬sis using GAN based models,” Expert Systems with Applications, Vol. 212, 2023, 118710, doi:10.1016/j.eswa.2022.118710.
11. [11] Su, X., Li, Y., Branco, P., and Inkpen, D., “SSL-GAN-RoBERTa: A robust semi-supervised model for detecting Anti-Asian COVID-19 hate speech on social media,” Natural Language En¬gineering, Vol. 30, 2024, pp. 1161–1180, doi: 10.1017/S1351324923000396.
12. [12] Alarsan, F. I. and Younes, M., “Best selec-tion of generative adversarial networks hyper-parameters using genetic algorithm,” Jour¬nal of Big Data, Vol. 8, 2021, p. 108, doi: 10.1186/s40537-021-00480-4.
13. [13] Fristiana, A. H., Alfarozi, S. A. I., Permanasari, A. E., Pratama, M., and Wibirama, S., “A survey on hyperparameters optimization of deep learning for time series classification,” IEEE Access, Vol. 12, 2024, pp. 185143–185172, doi: 10.1109/ACCESS.2024.3516198.
14. [14] Öcal, A. and Koyuncu, H., “An in-depth study to fine-tune the hyperparameters of pre-trained transfer learning models with state-of-the-art optimization methods: Osteoarthritis severity classification with optimized architectures,” Swarm and Evolutionary Computation, Vol. 89, 2024, 101640, doi: 10.1016/j.swevo.2024.101640.
15. [15] Aras, S., Aras, E., Gedikli, E., and Kahraman, H. T., “Multi-objective CNN optimization: A robust framework for automated model design,” Information Sciences, Vol. 719, 2025, 122468, doi: 10.1016/j.ins.2025.122468.
16. [16] Suddle, M. K. and Bashir, M., “Metaheuristics based long short term memory optimization for sentiment analysis,” Applied Soft Computing, Vol. 131, 2022, 109794, doi: 10.1016/j. asoc.2022.109794.
17. [17] Wu, D., Guan, Q., Fan, Z., Deng, H., and Wu, T., “AutoML with parallel genetic al-gorithm for fast hyperparameters optimization in efficient IoT time series prediction,” IEEE Transactions on Industrial Informatics, Vol. 19, No. 9, 2023, pp. 9555–9564, doi: 10.1109/TII.2023.3291762.
18. [18] Kumar, B. P., Tamilarasi, K., and Thilagavathy, A., “Metaheuristic-assisted deep learning model for fake news detection,” Journal of Experimen¬tal & Theoretical Artificial Intelligence, 2024, doi: 10.1080/0952813X.2024.2440665.
19. [19] Priyadarshini, I. and Cotton, C., “A novel LSTM–CNN–grid search-based deep neural network for sentiment analysis,” The Journal of Supercomputing, 2021, doi: 10.1007/ s11227-021-03838-w.
20. [20] Singh, U., Saurabh, K., Trehan, N., Vyas, R., and Vyas, O. P., “GA-LSTM: Perfor-mance optimization of LSTM driven time se-ries forecasting,” Computational Economics, Vol. 66, 2025, pp. 2873–2908, doi: 10.1007/ s10614-024-10769-0.
21. [21] Gülmez, B., “Stock price prediction with opti¬mized deep LSTM network with artificial rab¬bits optimization algorithm,” Expert Systems with Applications, Vol. 227, 2023, 120346, doi: 10.1016/j.eswa.2023.120346.
22. [22] Abdelhamid, A. A., El-Kenawy, E.-S. M., Alotaibi, B., Amer, G. M., Abdelkader, M. Y., Ibrahim, A., and Eid, M. M. Y., “Robust speech emotion recognition using CNN+LSTM based on stochastic fractal search optimization algo-rithm,” IEEE Access, 2022, doi: 10.1109/ ACCESS.2022.3172954.
23. [23] Biju, G. M. and Pillai, G. N., “Hyperparameter optimization of long short term memory models for interpretable electrical fault classification,” IEEE Access, 2023, doi: 10.1109/ACCESS. 2023.3330056.
24. [24] Zhou, L., Zhao, C., Liu, N., Yao, X., and Cheng, Z., “Improved LSTM-based deep learn¬ing model for COVID-19 prediction using opti¬mized approach,” Engineering Applications of Artificial Intelligence, Vol. 122, 2023, 106157, doi: 10.1016/j.engappai.2023.106157.
25. [25] Sun, Q., Yang, L., Guo, C., and Lee, S., “Machine learning-based optimization algorithms for sentiment analysis: An analysis of the state-of-the-art and upcoming challenges,” Journal of Experimental & Theoretical Artificial Intelligence, 2025, doi: 10.1080/0952813X.2025. 2505421.
26. [26] Mathur, P., Shaikh, H., Sheth, F., Kumar, D., and Gupta, A. K., “A computational intelligence framework integrating data augmentation and meta-heuristic optimization algorithms for enhanced hybrid nanofluid density prediction through machine and deep learning paradigms,” IEEE Access, 2025, doi: 10.1109/ACCESS. 2025.3543475.
27. [27] König, T., Ramananda, A. M., Wagner, F., and Kley, M., “A LSTM-GAN algorithm for synthetic data generation of time series data for condition monitoring,” Procedia Computer Science, Vol. 246, 2024, pp. 1508–1517, doi: 10.1016/j.procs.2024.09.602.
28. [28] Hong, Y.-Y., Wang, Y.-C., and Zhang, W., “An optimized generative adversarial network for state estimator in electric power systems,” Engi¬neering Applications of Artificial Intelligence, Vol. 145, 2025, 110102.
29. [29] Tanabe, R. and Fukunaga, A. S., “Improving the search performance of SHADE using linear population size reduction,” in 2014 IEEE Congress on Evolutionary Computation, 2014, pp. 1658–1665, doi: 10.1109/CEC.2014.6900380.
30. [30] H. T. Kahraman, S. Aras, and E. Gedikli, “Fitness-distance balance (FDB): A new selection method for meta-heuristic search algorithms,” Knowledge-Based Systems, vol. 190, 2020, 105169, doi: 10.1016/j.knosys.2019.105169.
31. [31] H. T. Kahraman, H. Bakir, S. Duman, M. Kati, S. Aras, and U. Guvenc, “Dynamic FDB selection method and its application: Modeling and optimizing of directional overcurrent relays coordination,” Applied Intelligence, vol. 52, 2022, pp. 4873–4908, doi: 10.1007/s10489-021-02629-3.
32. [32] I. Yildirim, M. H. Bozkurt, H. T. Kahraman, and S. Aras, “Dental X-Ray image enhancement using a novel evolutionary optimization algorithm,” Engineering Applications of Artificial Intelligence, vol. 142, 2025, 109879, doi: 10.1016/j.engappai.2024.109879.