Evaluation of Ensemble Algorithms and Deep Learning Transformers in Medical Sentiment Prediction

Abstract

Social media continuously produces digital information that can be used to improve service quality. In this aspect sentiment prediction, automated analysis of written user reviews, is an important research area from service quality point of view. Online sentiment prediction is a rich research area from e-business perspective. However, identification of sentiment from medical service user reviews is particularly researched less frequently. From Turkish language point of view, the medical informatics literature needs more research to design automated medical sentiment systems. Automated sentiment analysis systems particularly make use of Machine Learning (ML) algorithm in tandem with Natural Language Processing (NLP) methods to address written user reviews. In this work, ensemble learning approaches are compared with newly developed deep learning variations, Bidirectional Encoder Representations from Transformers (BERT), to investigate medical sentiments. As the obtained results are evaluated, it is observed that newly proposed transformer models are perfectly successful to identify sentiment of Turkish medical reviews.

Keywords

• Ensemble Learning
• Bidirectional Encoder Representations from Transformers
• Medical Review
• Sentiment Identification

Tıbbi Duyarlılık Tahmininde Topluluk Algoritmalarının ve Derin Öğrenme Transformatörlerinin Değerlendirilmesi

Öz

Sosyal medya, hizmet kalitesini artırmak için kullanılabilecek dijital bilgileri sürekli olarak üretmektedir. Bu yönüyle duygu tahmini, yazılı kullanıcı yorumlarının otomatik analizi, hizmet kalitesi açısından önemli bir araştırma alanıdır. Çevrimiçi duygu tahmini, e-iş perspektifinden zengin bir araştırma alanıdır. Bununla birlikte, tıbbi servislere ait kullanıcı incelemelerinden duyguların belirlenmesi özellikle daha az sıklıkla araştırılmaktadır. Türk dili açısından bakıldığında, tıbbi bilişim literatürünün otomatikleştirilmiş tıbbi duyarlılık sistemleri tasarlamak için daha fazla araştırmaya ihtiyacı vardır. Otomatik duygu analizi sistemleri, yazılı kullanıcı incelemelerini ele almak için özellikle Doğal Dil İşleme (DDİ) yöntemleriyle birlikte Makine Öğrenimi (MÖ) algoritmalarını kullanır. Bu çalışmada, tıbbi yorum duygularını araştırmak için topluluk öğrenme yaklaşımları, yeni geliştirilen derin öğrenme varyasyonları olan Transformers'dan Çift Yönlü Kodlayıcı Gösterimleri (TÇYK) ile karşılaştırılmıştır. Elde edilen sonuçlar değerlendirildiğinde, yeni önerilen transfers modellerinin Türkçe tıbbi incelemelerinin duyarlılığını belirlemede mükemmel derecede başarılı olduğu görülmektedir.

Anahtar Kelimeler

• Topluluk Öğrenimi
• Transformatörlerden Çift Yönlü Kodlayıcı Temsilleri
• Tıbbi Yorum
• Duygu Tanımlama

References

1. Alqaraleh, S. (2020). Turkish Sentiment Analysis System via Ensemble Learning. European Journal of Science and Technology, 122–129. https://doi.org/10.31590/ejosat.779181
2. Catal, C., & Nangir, M. (2017). A sentiment classification model based on multiple classifiers. Applied Soft Computing, 50, 135–141. https://doi.org/10.1016/j.asoc.2016.11.022
3. Ceyhan, M., Orhan, Z., & Domnori, E. (2017). Health service quality measurement from patient reviewsin Turkish by opinion mining.
4. Badnjevic A. (Eds) CMBEBIH 2017. IFMBE Proceedings, 62, 649–653. https://doi.org/10.1007/978-981-10-4166-2_97
5. Dong, X., Yu, Z., Cao, W., Shi, Y., & Ma, Q. (2020). A survey on ensemble learning. Frontiers of Computer Science, 14(2), 241–258.
6. Duysak, H., Ozkaya, U., & Yigit, E. (2021). Determination of the Amount of Grain in Silos with Deep Learning Methods Based on Radar Spectrogram Data. IEEE Transactions on Instrumentation and Measurement. tps://doi.org/10.1007/s11704-019-8208-z
7. Görmez, Y., Işık, Y. E., Temiz, M., & Aydın, Z. (2020). FBSEM: A Novel Feature-Based Stacked Ensemble Method for Sentiment Analysis. International Journal of Information Technology and Computer Science, 6, 11–22. https://doi.org/10.5815/ijitcs.2020.06.02
8. Jiménez-Zafra, S. M., Martín-Valdivia, M. T., Molina-González, M. D., & Ureña-López, L. A. (2019). How do we talk about doctors and drugs? Sentiment analysis in forums expressing opinions for medical domain. Artificial Intelligence in Medicine, 93, 50–57. https://doi.org/10.1016/J.ARTMED.2018.03.007

9. Lin, H. C. K., Wang, T. H., Lin, G. C., Cheng, S. C., Chen, H. R., & Huang, Y. M. (2020). Applying sentiment analysis to automatically classify consumer comments concerning marketing 4Cs aspects. Applied Soft Computing, 97, 106755. https://doi.org/10.1016/J.ASOC.2020.106755
10. Onan, A. (2021). Ensemble of Classifiers and Term Weighting Schemes for Sentiment Analysis in Turkish. Scientific Research Communications, 1(1), 1–12. https://doi.org/10.52460/src.2021.004
11. Özçift, A. (2020). Medical Sentiment Analysis Based on Soft Votiıng. Yönetim Bilişim Sistemleri Dergisi, 6(1), 42–50.
12. Rahim, A. I. A., Ibrahim, M. I., Musa, K. I., Chua, S. L., & Yaacob, N. M. (2021). Assessing Patient-Perceived Hospital Service Quality and Sentiment in Malaysian Public Hospitals using Machine Learning and Facebook Reviews. International Journal of Environmental Research and Public Health, 18, 1–28. https://doi.org/10.3390/ijerph18189912
13. Şahin, T., Gümüş, H., & Gençoğlu, C. (2021). Analysis of Tweets Related with Physical Activity During COVID-19 Outbreak. Journal of Basic and Clinical Health Sciences, 1, 42–48. https://doi.org/10.30621/jbachs.869506
14. Toçoğlu, M. A. (2020). Sentiment Analysis for Software Engineering Domain in Turkish. Sakarya University Journal of Computer and Information Sciences, 3(3). https://doi.org/10.35377/saucis.03.03.769969
15. Ullah, M. A., Marium, S. M., Begum, S. A., & Dipa, N. S. (2020). An algorithm and method for sentiment analysis using the text and emoticon. ICT Express, 6(4), 357–360. https://doi.org/10.1016/j.icte.2020.07.003
16. Web 1. (2021). https://huggingface.co/dbmdz