TY - JOUR T1 - Evaluation of Ensemble Algorithms and Deep Learning Transformers in Medical Sentiment Prediction TT - Tıbbi Duyarlılık Tahmininde Topluluk Algoritmalarının ve Derin Öğrenme Transformatörlerinin Değerlendirilmesi AU - Özçift, Akın AU - Bozuyla, Mehmet PY - 2021 DA - November DO - 10.31590/ejosat.1010241 JF - Avrupa Bilim ve Teknoloji Dergisi JO - EJOSAT PB - Osman SAĞDIÇ WT - DergiPark SN - 2148-2683 SP - 690 EP - 693 IS - 28 LA - en AB - Social media continuously produces digital information that can be used to improve service quality. In this aspect sentiment prediction, automated analysis of written user reviews, is an important research area from service quality point of view. Online sentiment prediction is a rich research area from e-business perspective. However, identification of sentiment from medical service user reviews is particularly researched less frequently. From Turkish language point of view, the medical informatics literature needs more research to design automated medical sentiment systems. Automated sentiment analysis systems particularly make use of Machine Learning (ML) algorithm in tandem with Natural Language Processing (NLP) methods to address written user reviews. In this work, ensemble learning approaches are compared with newly developed deep learning variations, Bidirectional Encoder Representations from Transformers (BERT), to investigate medical sentiments. As the obtained results are evaluated, it is observed that newly proposed transformer models are perfectly successful to identify sentiment of Turkish medical reviews. KW - Ensemble Learning KW - Bidirectional Encoder Representations from Transformers KW - Medical Review KW - Sentiment Identification N2 - Sosyal medya, hizmet kalitesini artırmak için kullanılabilecek dijital bilgileri sürekli olarak üretmektedir. Bu yönüyle duygu tahmini, yazılı kullanıcı yorumlarının otomatik analizi, hizmet kalitesi açısından önemli bir araştırma alanıdır. Çevrimiçi duygu tahmini, e-iş perspektifinden zengin bir araştırma alanıdır. Bununla birlikte, tıbbi servislere ait kullanıcı incelemelerinden duyguların belirlenmesi özellikle daha az sıklıkla araştırılmaktadır. Türk dili açısından bakıldığında, tıbbi bilişim literatürünün otomatikleştirilmiş tıbbi duyarlılık sistemleri tasarlamak için daha fazla araştırmaya ihtiyacı vardır. Otomatik duygu analizi sistemleri, yazılı kullanıcı incelemelerini ele almak için özellikle Doğal Dil İşleme (DDİ) yöntemleriyle birlikte Makine Öğrenimi (MÖ) algoritmalarını kullanır. Bu çalışmada, tıbbi yorum duygularını araştırmak için topluluk öğrenme yaklaşımları, yeni geliştirilen derin öğrenme varyasyonları olan Transformers'dan Çift Yönlü Kodlayıcı Gösterimleri (TÇYK) ile karşılaştırılmıştır. Elde edilen sonuçlar değerlendirildiğinde, yeni önerilen transfers modellerinin Türkçe tıbbi incelemelerinin duyarlılığını belirlemede mükemmel derecede başarılı olduğu görülmektedir. CR - Alqaraleh, S. (2020). Turkish Sentiment Analysis System via Ensemble Learning. European Journal of Science and Technology, 122–129. https://doi.org/10.31590/ejosat.779181 CR - Catal, C., & Nangir, M. (2017). A sentiment classification model based on multiple classifiers. Applied Soft Computing, 50, 135–141. https://doi.org/10.1016/j.asoc.2016.11.022 CR - Ceyhan, M., Orhan, Z., & Domnori, E. (2017). Health service quality measurement from patient reviewsin Turkish by opinion mining. CR - Badnjevic A. (Eds) CMBEBIH 2017. IFMBE Proceedings, 62, 649–653. https://doi.org/10.1007/978-981-10-4166-2_97 CR - Dong, X., Yu, Z., Cao, W., Shi, Y., & Ma, Q. (2020). A survey on ensemble learning. Frontiers of Computer Science, 14(2), 241–258. CR - Duysak, H., Ozkaya, U., & Yigit, E. (2021). Determination of the Amount of Grain in Silos with Deep Learning Methods Based on Radar Spectrogram Data. IEEE Transactions on Instrumentation and Measurement. tps://doi.org/10.1007/s11704-019-8208-z CR - Görmez, Y., Işık, Y. E., Temiz, M., & Aydın, Z. (2020). FBSEM: A Novel Feature-Based Stacked Ensemble Method for Sentiment Analysis. International Journal of Information Technology and Computer Science, 6, 11–22. https://doi.org/10.5815/ijitcs.2020.06.02 CR - Jiménez-Zafra, S. M., Martín-Valdivia, M. T., Molina-González, M. D., & Ureña-López, L. A. (2019). How do we talk about doctors and drugs? Sentiment analysis in forums expressing opinions for medical domain. Artificial Intelligence in Medicine, 93, 50–57. https://doi.org/10.1016/J.ARTMED.2018.03.007 CR - Lin, H. C. K., Wang, T. H., Lin, G. C., Cheng, S. C., Chen, H. R., & Huang, Y. M. (2020). Applying sentiment analysis to automatically classify consumer comments concerning marketing 4Cs aspects. Applied Soft Computing, 97, 106755. https://doi.org/10.1016/J.ASOC.2020.106755 CR - Onan, A. (2021). Ensemble of Classifiers and Term Weighting Schemes for Sentiment Analysis in Turkish. Scientific Research Communications, 1(1), 1–12. https://doi.org/10.52460/src.2021.004 CR - Özçift, A. (2020). Medical Sentiment Analysis Based on Soft Votiıng. Yönetim Bilişim Sistemleri Dergisi, 6(1), 42–50. CR - Rahim, A. I. A., Ibrahim, M. I., Musa, K. I., Chua, S. L., & Yaacob, N. M. (2021). Assessing Patient-Perceived Hospital Service Quality and Sentiment in Malaysian Public Hospitals using Machine Learning and Facebook Reviews. International Journal of Environmental Research and Public Health, 18, 1–28. https://doi.org/10.3390/ijerph18189912 CR - Şahin, T., Gümüş, H., & Gençoğlu, C. (2021). Analysis of Tweets Related with Physical Activity During COVID-19 Outbreak. Journal of Basic and Clinical Health Sciences, 1, 42–48. https://doi.org/10.30621/jbachs.869506 CR - Toçoğlu, M. A. (2020). Sentiment Analysis for Software Engineering Domain in Turkish. Sakarya University Journal of Computer and Information Sciences, 3(3). https://doi.org/10.35377/saucis.03.03.769969 CR - Ullah, M. A., Marium, S. M., Begum, S. A., & Dipa, N. S. (2020). An algorithm and method for sentiment analysis using the text and emoticon. ICT Express, 6(4), 357–360. https://doi.org/10.1016/j.icte.2020.07.003 CR - Web 1. (2021). https://huggingface.co/dbmdz UR - https://doi.org/10.31590/ejosat.1010241 L1 - https://dergipark.org.tr/en/download/article-file/2029053 ER -