Metin Madenciliği ve Makine Öğrenmesi Teknikleri ile Sağlık Hizmetleri Pazarlamasına Yönelik Twitter Verilerinin Analizi

Yıl 2024, , 109 - 121, 30.04.2024

Büşra Saylan , Songül Çınaroğlu

https://doi.org/10.17671/gazibtd.1424960

Öz

Sağlık hizmeti kullanıcılarının sağlık hizmetleri pazarına ilişkin duygu durumlarının analizi sağlık hizmetleri pazarlamasına yönelik algıların analizinde kritik rol oynamaktadır. Bu çalışmada Twitter kullanıcılarından elde edilen verilerle kişilerin sağlık hizmetleri pazarlamasına yönelik görüşleri duygu analizi kullanılarak değerlendirilmiştir. Twitter’dan API Key ile 1 Ekim 2022 ve 30 Kasım 2022 tarihleri arasında elde edilen 27079 İngilizce dilinde atılan tweet verileri üzerinde yapılan duygu analizi sonucunda Twitter kullanıcılarının sağlık hizmetleri pazarlaması konusundaki görüşlerinin %50,36’sının (n=13638) olumlu, %32,21’inin (n=8721) nötr ve %17,43’ünün (n=4720) ise olumsuz olduğu belirlenmiştir. Oluşturulan kelime bulutlarına göre ‘health’, ‘care’, ‘market’ ve ‘insurance’ en sık tekrarlanan kelimeler olarak belirlenmiştir. Twitter kullanıcılarının duygu durumlarının en iyi tahmin edicilerini bulmak amacıyla yeni bir veri seti oluşturulmuş ve Yapay Sinir Ağları (Neural Network-NN), Rastgele Orman (Random Forest-RF), Naive Bayes (NB) ve k-en yakın komşu (k-nearest neighbor k-NN) makine öğrenmesi teknikleri ile tahmin edilmiştir. RF (AUC=0,707; CA=0,646) ve NN (AUC=0,706; CA=0,645) diğer makine öğrenmesi teknikleriyle karşılaştırıldığında Twitter kullanıcılarının duygu durumlarının en iyi tahmin edici makine öğrenmesi teknikleri olmuştur. Pisagor ağacı ile Twitter kullanıcılarının sağlık hizmetleri pazarlamasına yönelik duygu durumlarının en iyi tahmin edici değişkeninin ‘favorite (beğeni)’ kelimesi olduğu ve kullanıcıların sağlık hizmetleri pazarlamasına yönelik atılan tweetlere çoğunlukla katıldığı belirlenmiştir. Gelecekteki yapılacak olan çalışmaların zaman içindeki değişiklikleri daha iyi anlamak ve derin bir perspektif sunmak amacıyla daha uzun bir zaman aralığını kapsayacak şekilde planlanması, ayrıca analizlerin genellenebilirliğini artırmak ve bulguların daha geniş bir kitleye uygulanabilir olmasına katkıda bulunmak için daha büyük bir veri seti kullanılması önerilmektedir.

Anahtar Kelimeler

sağlık hizmetleri pazarlaması, duygu analizi, twitter, makine öğrenmesi, pisagor ağacı

Analysis of Twitter Data on Healthcare Marketing by Text Mining and Machine Learning Techniques

Öz

TThe analysis of healthcare users' moods regarding healthcare market plays a critical role in the analysis of perceptions towards the healthcare marketing. In this study, the views of people on healthcare marketing were evaluated using sentiment analysis with the data obtained from Twitter users. As a result of the sentiment analysis performed on 27079 English-language tweet data obtained from Twitter with API Key between October 1, 2022, and November 30, 2022, 50.36% (n=13638) of Twitter users' opinions on healthcare marketing were positive, 32.21% (n=8721) were neutral and 17.43% (n=4720) were negative. According to the word clouds created, ‘health’, ‘care’, ‘market’, and ‘insurance’ were determined as the most frequently repeated words. In order to find the best predictors of the mood of Twitter users, a new data set was created, and Neural Networks (NN), Random Forest (RF), Naive Bayes (NB), and k-nearest neighbor (k-NN) were predicted by machine learning techniques. RF (AUC=0.707; CA=0.646), and NN (AUC=0.706; CA=0.645) were the best predictive machine learning techniques of Twitter users' moods when compared to other machine learning techniques. With the Pythagorean tree, it was determined that the best predictor variable of Twitter users’ emotional states towards healthcare marketing was the word ‘favorite’. Future studies are suggested to be planned to cover a longer time to understand temporal changes better and provide a deeper perspective. Additionally, using a larger dataset is recommended to enhance the generalizability of analyses and contribute to the applicability of findings to a broader audience.

Anahtar Kelimeler

health care marketing, sentiment analysis, twitter, machine learning, pythagorean tree

Kaynakça

• S. Öztürk, O. Uçan, “Türkiye’de Sağlık Harcamalarında Artış Nedenleri: Sağlık Harcamalarında Artış–Büyüme İlişkisi”, Süleyman Demirel Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 22(1), 139-152, 2017.
• TÜİK, Sağlık Harcamaları İstatistikleri 2021. https://data.tuik.gov.tr/Bulten/Index?p=Saglik-Harcamalari-Istatistikleri-202145728#:~:text=Ki%C5%9Fi%20ba%C5%9F%C4%B1na %20sa%C4%9Fl%C4%B1k%20harcamas%C4%B1%202020,bin%20206%20TL'ye%20y%C3%BCkseldi.&text=Toplam%20sa%C4%9Fl%C4%B1k%20harcamas%C4%B1n%C4%B1n%20GSYH'ye,%254%2C6%20olarak%20ger%C3%A7ekle%C5%9Fti, 2022.
• A. Ekiyor, A. Çetin, “Sağlık Hizmeti Sunumunda ve Sosyal Pazarlama Kapsamında E-Nabız Uygulamasının Bilinirliği”, Uluslararası Sağlık Yönetimi ve Stratejileri Araştırma Dergisi, 3(1), 88-103, 2017.
• O. Kitapci, I. T. Dortyol, Z. Yaman, M. Gulmez, “The Paths From Service Quality Dimensions to Customer Loyalty: An Application on Supermarket Customers”, Management Research Review, 36(3), 239-255, 2013.
• D. F. Biçer, A. Yıldırım, “Sağlık Hizmetleri Pazarlaması Çerçevesinde İç Müşteri Tatmini Etkileyen Faktörler”, Stratejik ve Sosyal Araştırmalar Dergisi, 4(2), 381-403, 2020.
• B. H. Yeşilkaya, B. Akalın, “Sağlık Hizmetleri Pazarlaması Üzerine Bir Model Önerisi: Kamu ve Özel Hastane Örneği”, Sosyal Araştırmalar ve Yönetim Dergisi, (1), 105-120, 2022.
• V. L. Purcarea, “The Impact of Marketing Strategies in Healthcare Systems”, Journal of Medicine and Life, 12(2), 93-96, 2019.
• Ö. Yeşilyurt, “Covid-19 Pandemi Sürecinin Yönetilmesinde Sosyal Pazarlama Aracı Olarak Kamu Spotlarının İncelenmesi: İçerik Analizi”, OPUS International Journal of Society Researches, 17(Pandemi Özel Sayısı), 3470-3500, 2021.
• J. Knott, Healthcare marketing 2022: Strategies & Tips to Grow Practices. https://intrepy.com/importance-healthcare-marketing, 2022.
• E. V. L. Purcarea, “The Impact of Marketing Strategies in Healthcare Systems”, Journal of Medicine and Life, 12(2), 93, 2019.
• C. Bulut, T. Sönal, D. Kolca, “Sağlık Hizmetlerinde Pazarlama Araştırmalarında Uygulanan Teknikler”, Uluslararası Sağlık Yönetimi ve Stratejileri Araştırma Dergisi, 9(3), 284-294, 2023.
• S. Gök, “Sağlık Hizmetleri Pazarlamasında Güncel Yaklaşımlar”, Sağlık Akademisyenleri Dergisi, 10(3), 514-522, 2023.
• Ö. Çelen, H. Abuhanoğlu, A. Teke, A. “Memnuniyet, Bağlılık ve Yalnızlık Ilişkisi: TSK Ankara Özel Bakım Merkezinde Bir Araştırma”, TAF Preventive Medicine Bulletin, 15(1), 2016.
• V. Öter, H. D. Südaş, “Algılanan Hizmet Kalitesinin Hasta Bağlılığı Üzerine Etkisi: Devlet Hastanesi Üzerine Bir İnceleme”, Çukurova Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 21(2), 43-57, 2017.
• M. Marangoz, L. Biber, “Kurumsal İmajın ve Kurumsal Ünün Müşteri Bağlılığına Etkileri”, Karamanoğlu Mehmetbey Üniversitesi Sosyal ve Ekonomik Araştırmalar Dergisi, 2007(2), 173-193, 2017.
• G. B. D. Kıyat, H. Şimşek, B. Özgüleş, “Sağlık Hizmetleri Pazarlamasının Diğer Pazarlama Dalları İçindeki Yeri ve Önemi”, Sağlık Akademisyenleri Dergisi, 4(3), 147-154, 2017.
• B. Handel, K. Ho, “The Industrial Organization of Health Care Markets”, Handbook Of Industrial Organization, Cilt 5, Editör: Ho, K., Hortaçsu, A., Lizzeri A., North Holland, Amsterdam, 521-614, 2021.
• K. Rooney, “Consumer-Driven Healthcare Marketing: Using the Web to Get up Close and Personal”, Journal of Healthcare Management, 54(4), 241-251, 2009.
• E. Sevim, Ö. Güdük, “Kamu Sağlık Hizmetleri Yöneticilerinin Sağlık Hizmetlerinde Pazarlamaya Bakış Açılarının Değerlendirilmesi İstanbul Örneği”, Jaren, 6(1), 148-156, 2020.
• G. Bayın, Y. Akbulut, “Sağlık Sektöründe Sosyal Pazarlamanın Kullanımı”, Ankara Sağlık Bilimleri Dergisi, 1(1), 53-72., 2012.
• V. S. Pagolu, K. N. Reddy, G. Panda, B. Majhi, “Sentiment Analysis of Twitter Data for Predicting Stock Market Movements,” 2016 International Conference on Signal Processing, Communication, Power and Embedded System (SCOPES), IEEE, 1345-1350, 2016.
• J. Leskovec, L. A. Adamic, B. A. Huberman, “The Dynamics of Viral Marketing”, ACM Transactions on the Web (TWEB), 1(1), 1-39, 2007.
• K. Ö. Atılgan, H. Yoğurtcu, “Kargo Firması Müşterilerinin Twitter Gönderilerinin Duygu Analizi”, Çağ Üniversitesi Sosyal Bilimler Dergisi, 18(1), 31-39, 2021.
• A. Onan, “Twitter Mesajları Üzerinde Makine Öğrenmesi Yöntemlerine Dayalı Duygu Analizi”, Yönetim Bilişim Sistemleri Dergisi, 3(2), 1-14, 2017.
• C. B. S. Bartlett, R. Wurtz, “Twitter and Public Health”, Journal of Public Health Management and Practice, 21(4), 375-383, 2015.
• L. Sinnenberg, A. M. Buttenheim, K. Padrez, C. Mancheno, L. Ungar, R. M. Merchant, “Twitter as a Tool for Health Research: A Systematic Review”, American Journal of Public Health, 107(1), e1-e8, 2017.
• E. Gabarron, E. Dorronzoro, O. Rivera-Romero, R. Wynn, “Diabetes on Twitter: A Sentiment Analysis”, Journal of Diabetes Science and Technology, 13(3), 439-444, 2019.
• J. Huang, R. Kornfield, G. Szczypka, S. L. Emery, “A Cross-Sectional Examination of Marketing of Electronic Cigarettes on Twitter”, Tobacco Control, 23(suppl 3), iii26-iii30, 2014.
• J. Keim‐Malpass, E. M. Mitchell, E. Sun, C. Kennedy, “Using Twitter to Understand Public Perceptions Regarding the# HPV Vaccine: Opportunities for Public Health Nurses to Engage in Social Marketing”, Public Health Nursing, 34(4), 316-323, 2017.
• M. Faus, F. Alonso, A. Javadinejad, S. A. Useche, “Are Social Networks Effective in Promoting Healthy Behaviors? A Systematic Review of Evaluations of Public Health Campaigns Broadcast on Twitter”, Frontiers in Public Health, 10, 1045645, 2022.
• I. Herrera-Peco, B. Jiménez-Gómez, J. J. Peña Deudero, E. Benitez De Gracia, C. Ruiz-Núñez, “Healthcare Professionals’ Role in Social Media Public Health Campaigns: Analysis of Spanish Pro Vaccination Campaign on Twitter”, Healthcare, 9(6), 662, 2021.
• K. McCausland, B. Maycock, T. Leaver, K. Wolf, B. Freeman, J. Jancey, “E-Cigarette Advocates on Twitter: Content Analysis of Vaping-Related Tweets”. JMIR public Health and Surveillance, 6(4), e17543, 2020.
• A. A. Çobaner, S. Köksoy, “Sağlık Alanında Sosyal Medyanın Kullanımı: Twitter’da Sağlık Mesajları”, Akademik Konferans Bildirileri, 899, 906, 2014.
• J. L. Lee, M. DeCamp, M. Dredze, M. S. Chisolm, Z. D. Berger, “What are Health-Related Users Tweeting? A Qualitative Content Analysis of Health-Related Users and Their Messages on Twitter”, Journal of Medical Internet Research, 16(10), e237, 2014.
• S. Leek, D. Houghton, L. Canning, “Twitter and Behavioral Engagement in the Healthcare Sector: An Examination of Product and Service Companies”, Industrial Marketing Management, 81, 115-129, 2019.
• A. Hasan, S. Moin, A. Karim, S. Shamshirband, “Machine Learning-Based Sentiment Analysis for Twitter Accounts”, Mathematical and Computational Applications, 23(1), 11, 2018.
• G. Sarıman, E. Mutaf, “Covid-19 sürecinde Twitter Mesajlarının Duygu Analizi”, Euroasia Journal of Mathematics, Engineering, Natural & Medical Sciences, 7(10), 137-148, 2020.
• B. Akın, U. T. G. Şimşek, “Sosyal Medya Analitiği ile Değer Yaratma: Duygu Analizi ile Geleceğe Yönelim”, Mehmet Akif Ersoy Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 5(3), 797-811, 2018.
• B. Özyurt, M. A. Akçayol, “Fikir Madenciliği ve Duygu Analizi, Yaklaşımlar, Yöntemler Üzerine Bir Araştırma”, Selçuk Üniversitesi Mühendislik, Bilim ve Teknoloji Dergisi, 6(4), 668-693, 2018.
• A. B. Eliacik, N. Erdoğan, User-weighted sentiment analysis for financial community on Twitter. 2015 11th International Conference on Innovations in Information Technology (IIT), IEEE, 2015.
• R. K. Mishra, S. Urolagin, J. A. A. Jothi, A.S. Neogi, N. Nawaz, “Deep Learning-Based Sentiment Analysis and Topic Modeling on Tourism During Covid-19 Pandemic”, Frontiers in Computer Science, 3, 1-14, 2021.
• S. Elbagir, J. Yang, “Twitter Sentiment Analysis Using Natural Language Toolkit and VADER Sentiment”, In Proceedings of the International Multiconference of Engineers and Computer Scientists, IMECS, 1-5, 2019.
• S. Vashishtha, S. Susan, “Fuzzy Rule Based Unsupervised Sentiment Analysis from Social Media Posts”, Expert Systems with Applications, 138, 112834, 2019.
• C. Çılgın, M. Baş, H. Bilgehan, C. Ünal, “Twitter Sentiment Analysis During Covid-19 Outbreak with Vader. AJIT-e: Academic Journal of Information Technology, 13(49), 72-89, 2022.
• I.K.M. Jais, A.R. Ismail, S.Q. Nisa, “Adam Optimization Algorithm for Wide and Deep Neural Network”, Knowledge Engineering and Data Science, 2(1), 41-46., 2019.
• Y. Singh, A. S. Chauhan, “Neural Networks in Data Mining”, Journal of Theoretical & Applied Information Technology, 5(1), 37-42, 2009.
• X. Qi, G. Chen, Y. Li, X. Cheng, C. Li, “Applying Neural-Network-Based Machine Learning to Additive Manufacturing: Current Applications, Challenges, And Future Perspectives”, Engineering, 5(4), 721-729, 2019.
• J. Schmidhuber, “Deep Learning in Neural Networks: An Overview”, Neural Networks, 61, 85-117, 2015.
• B. Mahesh, “Machine Learning Algorithms-A Review”, International Journal of Science and Research (IJSR), 9, 381-386, 2020.
• B.G. Marcot, A. M. Hanea, “What is an Optimal Value of k in K-Fold Cross-Validation in Discrete Bayesian Network Analysis?”, Computational Statistics, 36(3), 2009-2031, 2021.
• M. H. Beale, M. T. Hagan, H. B. Demuth, Neural Network Toolbox User’s Guide. The MathWorks Inc, Natick, A. B. D., 2015.
• J. Amita, J. S. Singh, G. P. Kumar, “Prediction of Bus Travel Time Using Artificial Neural Network”, International Journal for Traffic and Transport Engineering, 5(4), 410-424, 2015.
• C. M. Yeşilkanat, “Spatio-Temporal Estimation of the Daily Cases of COVID-19 in Worldwide Using Random Forest Machine Learning Algorithm”, Chaos, Solitons & Fractals, 140, 1-8, 2020.
• O. Sevli, “Göğüs Kanseri Teşhisinde Farklı Makine Öğrenmesi Tekniklerinin Performans Karşılaştırması”, Avrupa Bilim ve Teknoloji Dergisi, (16), 176-185, 2019.
• M. Luo, J. Xie, Y. Yan, Z. Ke, P. Yu, Z. Wang, J. Zhang, “Comparing Machine Learning Algorithms in Predicting Thermal Sensation Using ASHRAE Comfort Database II”, Energy and Buildings, 210, 1-16, 2020.
• F. E. Ayo, O. Folorunso, F. T. Ibharalu, I. A. Osinuga, “Machine Learning Techniques for Hate Speech Classification of Twitter Data: State-of-the-Art, Future Challenges and Research Directions”, Computer Science Review, 38, 100311, 1-34, 2020.
• W. Lin, Z. Wu, L. Lin, A. Wen, J. Li, “An Ensemble Random Forest Algorithm for Insurance Big Data Analysis”, IEEE Access, 5, 16568-16575, 2017.
• G. P. A. Mary, M. S. Hema, R. Maheshprabhu, M. N. Guptha, Sentimental Analysis of Twitter Data Using Machine Learning Algorithms. 2021 International Conference on Forensics, Analytics, Big Data, Security (FABS), IEEE, 1, 1-5, 2021.
• A. P. Rodrigues, R. Fernandes, A. Shetty, K. Lakshmanna, R. M. Shafi, “Real-time Twitter Spam Detection and Sentiment Analysis Using Machine Learning and Deep Learning Techniques”, Computational Intelligence and Neuroscience, 2022, 1-14, 2022.
• Y. Y. Aung, M. M. Min, An Analysis of Random Forest Algorithm Based Network Intrusion Detection System. 2017 18th IEEE/ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing (SNPD), IEEE, 127-132, 2017.
• J. L. Speiser, M. E. Miller, J. Tooze, E. Ip, “A Comparison of Random Forest Variable Selection Methods for Classification Prediction Modeling”, Expert Systems with Applications, 134, 93-101, 2019.
• A. Sarica, A. Cerasa, A. Quattrone, “Random Forest Algorithm for the Classification of Neuroimaging Data in Alzheimer's Disease: A Systematic Review”, Frontiers in Aging Neuroscience, 9, 329, 2017.
• I. B. A. Peling, I. N. Arnawan, I. P. A. Arthawan, I. G. N. Janardana, “Implementation of Data Mining to Predict Period of Students Study Using Naive Bayes Algorithm”, International Journal of Engineering and Emerging Technology, 2(1), 53-57, 2017.
• M. Bader Alazzam, H. Mansour, M. M. Hammam, S. Alsheikh, A. Bakir, S. Alghamdi, A. S. AlGhamdi, “Machine Learning of Medical Applications Involving Complicated Proteins and Genetic Measurements”, Computational Intelligence and Neuroscience, 2021, 1-6, 2021.
• B. Chandra, and Manish Gupta, "Robust Approach for Estimating Probabilities in Naïve Bayesian Classifier for Gene Expression Data," Expert Systems with Applications, 38(3), No. 3, 1293-1298, 2011.
• D. M. Farid, M. M. Rahman, M. A. Al-Mamuny, "Efficient and Scalable Multi-Class Classification Using Naïve Bayes Tree", 2014 International Conference on Informatics, Electronics & Vision (ICIEV), 1-4, 2014.
• K. A. Govindasamy, N. Palanichamy, Depression Detection Using Machine Learning Techniques on Twitter Data. 2021 5th International Conference on Intelligent Computing and Control Systems (ICICCS), IEEE, 960-966, 2021.
• B. Gupta, M. Negi, K. Vishwakarma, G. Rawat, P. Badhani, B. Tech, “Study of Twitter Sentiment Analysis Using Machine Learning Algorithms on Python”, International Journal of Computer Applications, 165(9), 29-34, 2017.
• H. Parveen, S. Pandey, Sentiment analysis on Twitter Data-Set Using Naive Bayes Algorithm. 2016 2nd International Conference on Applied and Theoretical Computing and Communication Technology (iCATccT), IEEE, 2016.
• S. Ray, A Quick Review of Machine Learning Algorithms. 2019 Inernational Conference on Machine Learning, Big Data, Cloud and Parallel Computing (COMITCon), IEEE, 2019
• K. A. K. Niazi, W. Akhtar, H. A. Khan, Y. Yang, S. Athar, “Hotspot Diagnosis for Solar Photovoltaic Modules Using A Naive Bayes Classifier”, Solar Energy, 190, 34-43, 2019.
• I. Triguero, D. García‐Gil, J. Maillo, J. Luengo, S. García, F. Herrera, “Transforming Big Data into Smart Data: An Insight on the Use of the K‐Nearest Neighbors Algorithm to Obtain Quality Data”, Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 9(2), e1289,1-24, 2019.
• S. Zhang, D. Cheng, Z. Deng, M. Zong, X. Deng, X. “A Novel kNN Algorithm with Data-Driven k Parameter Computation”, Pattern Recognition Letters, 109, 44-54, 2018.
• Y. D. Setiyaningrum, A. F. Herdajanti, C. Supriyanto, Classification of Twitter Contents Using Chi-Square and K-Nearest Neighbour Algorithm, 2019 International Seminar on Application for Technology of Information and Communication, IEEE, 2019.
• M. Ikonomakis, S. Kotsiantis, V. Tampakas, “Text Classification Using Machine Learning Techniques”, WSEAS Transactions On Computers, 4(8), 966-974, 2005.
• M. Grandini, E. Bagli, G. Visani, “Metrics for Multi-Class Classification: An Overview”, ArXiv abs/2008.05756: 1-17, 2020.
• V. Yarğı, S. Postalcıoğlu, “EEG İşareti Kullanılarak Bağımlılığa Yatkınlığın Makine Öğrenmesi Teknikleri ile Analizi”, El-Cezeri, 8(1), 142-154, 2021.
• B. Ş. Bozyiğit, Ç. Tarhan, “Makine Öğrenmesi Yöntemleri Kullanılarak Sosyal Medyada Marka İtibar Analizi”, Yönetim Bilişim Sistemleri Dergisi, 6(2), 57-76, 2020.
• L. Teia, “Special Case of the Three-Dimensional Pythagorean Gear (Australian Senior Mathematics Journal)”, Journal of the Australian Mathematical Society, 32, 36-49, 2018.
• T. Munz, M. Burch, T. van Benthem, Y. Poels, F. Beck, D. Weiskopf, Overlap-Free Drawing of Generalized Pythagoras Trees for Hierarchy Visualization. 2019 IEEE Visualization Conference (VIS), IEEE, 2019.
• E. W. Ambarsari, H. Herlinda, “Pythagoras Tree Applied for Determined Instagram Usage Habit Decision”, Sinkron: Jurnal Dan Penelitian Teknik İnformatika, 4(2), 56-61, 2020.
• U. Urbas, D. Zorko, N. Vukašinović, “Machine Learning Based Nominal Root Stress Calculation Model for Gears with A Progressive Curved Path of Contact”, Mechanism and Machine Theory, 165, 1-14, 2021.
• A. Y. Sarıyıldız, “Sağlık Hizmetleri Pazarlamasında Yeni Yaklaşımlar”, Selçuk Sağlık Dergisi, 3(2), 166-179, 2022.
• E. M. Clark, T. James, C. A. Jones, A. Alapati, P. Ukandu, C. M. Danforth, P. S. Dodds, “A Sentiment Analysis of Breast Cancer Treatment Experiences and Healthcare Perceptions Across Twitter”, ArXiv Preprint ArXiv:1805.09959, 2018
• A. Onan, “Sentiment Analysis on Twitter Messages Based on Machine Learning Methods”, Yönetim Bilişim Sistemleri Dergisi, 3 (2), 1-14, 2017.
• B. A. Özoran, “Bir Halkla İlişkiler Aracı Olarak Twitter: Dünya Sağlık Örgütü Paylaşımlarının İçerik Analizi ve Metin Madenciliği ile İncelenmesi”, Celal Bayar Üniversitesi Sosyal Bilimler Dergisi, 20(04), 125-14, 202