Sentiment Analysis for Udemy Reviews with Natural Language Processing and Machine Learning Methods

Year 2024, Volume: 04 Issue: 02, 184 - 191, 31.12.2024

Sedat Sönmez , Tanju Açi , Hidayet Takcı , Hakan Kekül

Abstract

Understanding and classifying sentiment content in textual data is an important requirement for many industries. Text-based data such as social media platforms, customer feedback and product reviews are a rich source of human emotions and opinions. Extracting meaningful information from this text data and understanding the emotional content helps businesses make strategic decisions, develop products and improve their services. Machine learning methods are widely used to perform sentiment analysis on large amounts of text data. These methods are used to process text data, extract features, train models and classify emotional content. Natural language processing techniques are used to solve a range of problems such as increasing an application's user satisfaction, improving its services or optimising marketing strategies. In this study, emotional tones are determined by analysing course comments in the Udemy application. Prediction is made by classifying positive or negative comments. Udemy application comments on Google Play were used and sentiment analysis is performed using K-Nearest Neighbour (KNN) and Random Forest Classification (RFC) algorithms. As a result of the analyses, it was observed that the KNN algorithm predicted with 84% accuracy. Accuracy, F1 Score, Recall, Precision metrics were used as performance measures.

Keywords

Sentiment analysis, Udemy, RFC algorithm, KNN algorithm, machine learning

Ethical Statement

During the conduct of this study, the following ethical principles were followed. The principles of honesty and impartiality were adhered to during the research process. No misleading information was included in the analysis and interpretation of the data. Accuracy and transparency were prioritised at all stages of the study. Care has been taken to ensure that the research is original and will make a scientific contribution. The studies and ideas of others have been used with proper attribution and plagiarism has been avoided. Scientific ethical rules have been followed and the principle of academic honesty has been adhered to.

Doğal Dil İşleme Ve Makine Öğrenmesi Yöntemleri İle Udemy Yorumları İçin Duygu Analizi

Abstract

Metinsel verilerdeki duygu içeriğini anlamak ve sınıflandırmak, birçok endüstri için önemli bir gerekliliktir. Sosyal medya platformları, müşteri geri bildirimleri ve ürün incelemeleri gibi metin tabanlı veriler, insan duygularının ve görüşlerinin zengin bir kaynağıdır. Bu metin verilerinden anlamlı bilgi çıkarmak ve duygu içeriği anlamak, işletmelerin stratejik kararlar almasında, ürün geliştirmelerinde ve hizmetlerini iyileştirmesinde yardımcı olmaktadır. Makine öğrenmesi yöntemleri, büyük miktarda metin verisi üzerinde duygu analizi yapmak için yaygın olarak kullanılır. Bu yöntemler, metin verilerini işlemek, öznitelikler çıkarmak, model eğitmek ve duygusal içeriği sınıflandırmak için kullanılmaktadır. Doğal dil işleme teknikleri, bir uygulamanın kullanıcı memnuniyetini artırmak, hizmetlerini geliştirmek veya pazarlama stratejilerini optimize etmek gibi bir dizi problemi çözmek için kullanılır. Bu çalışmada, Udemy uygulamasındaki kurs yorumları analiz edilerek duygusal tonlar belirlenmektedir. Olumlu veya olumsuz yorumlar sınıflandırılarak tahmin yapılmaktadır. Google Play’de bulunan Udemy uygulaması yorumları kullanılmış olup K-En Yakın Komşu (KNN) ve Rastgele Orman Sınıflandırma (RFC) algoritmaları kullanılarak duygu analizi yapılmıştır. Yapılan analizler sonucunda KNN algoritmasının %84 doğrulukla tahmin yaptığı gözlemlenmiştir. Performans ölçütü olarak Doğruluk, F1 skoru, duyarlılık ve kesinlik metrikleri kullanılmıştır.

Keywords

Duygu analizi, Udemy, RFC Algoritması, KNN algoritması, makine öğrenmesi

Ethical Statement

Bu çalışmanın yürütülmesi sırasında, aşağıda belirtilen etik ilkelere uygun hareket edilmiştir. Araştırma sürecinde dürüstlük ve tarafsızlık ilkelerine bağlı kalınmıştır. Verilerin analizi ve yorumlanması aşamalarında hiçbir şekilde yanıltıcı bilgiye yer verilmemiştir. Çalışmanın tüm aşamalarında doğruluk ve şeffaflık ön planda tutulmuştur. Araştırmanın özgün ve bilimsel katkı sağlayacak nitelikte olmasına özen gösterilmiştir. Başkalarının çalışmaları ve fikirleri doğru bir şekilde atıfta bulunarak kullanılmış ve intihalden kaçınılmıştır. Bilimsel etik kurallara uyulmuş ve akademik dürüstlük ilkesine sadık kalınmıştır.

References

• [1] S. E. Şeker, ‘Duygu Analizi (Sentimental Analysis)’, YBS Ansiklopedi, vol. 3, no. 3, pp. 21–36, 2016.
• [2] O. Kaynar, Y. Görmez, M. Yildiz, and A. Albayrak, ‘Makine Öğrenmesi Yöntemleri ile Duygu Analizi’, Int. Artif. Intell. Data Process. Symp., pp. 234–241, 2016, [Online]. Available: https://www.researchgate.net/publication/311136507
• [3] S. Tuzcu, ‘Çevrimiçi Kullanıcı Yorumlarının Duygu Analizi ile Sınıflandırılması’, Eskişehir Türk Dünyası Uygul. ve Araştırma Merk. Bilişim Derg., vol. 1, no. 2, pp. 1–5, 2020, Accessed: Nov. 26, 2023. [Online]. Available: https://dergipark.org.tr/tr/pub/estudambilisim/issue/53654/676052
• [4] S. Tokcaer, ‘Türkçe Metinlerde Duygu Analizi’, J. Yaşar Univ., vol. 16, no. 63, pp. 1516–1536, 2021, doi: 10.19168/jyasar.928843.
• [5] N. İlhan and D. Sağaltıcı, ‘Twitter’da Duygu Analizi’, Harran Üniversitesi Mühendislik Derg., vol. 5, no. 2, pp. 146–156, Aug. 2020, doi: 10.46578/humder.772929.
• [6] R. Daşgın and K. Adem, ‘Kitlesel Çevrimiçi Ders Platformlarında Kurslara Yapılan Yorumların Metin Madenciliği Kullanılarak Duygu Analizi’, Uluslararası Muhendis. Arastirma ve Gelistirme Derg., vol. 15, no. 2023, pp. 636–646, 2023, doi: 10.29137/umagd.1266187.
• [7] Ö. Şahinaslan, H. Dalyan, and E. Şahinaslan, ‘Naive Bayes Sınıflandırıcısı Kullanılarak YouTube Verileri Üzerinden Çok Dilli Duygu Analizi’, Bilişim Teknol. Derg., vol. 15, no. 2, pp. 221–229, Apr. 2022, doi: 10.17671/gazibtd.999960.
• [8] D. Kılınç, E. Borandağ, F. Yücalar, V. Tunalı, M. Şimşek, and A. Özçift, ‘KNN Algoritması ve R Dili ile Metin Madenciliği Kullanılarak Bilimsel Makale Tasnifi’, Marmara Fen Bilim. Derg., vol. 28, no. 3, 2016, doi: 10.7240/mufbed.69674.
• [9] D. Akmaz, E. Elektronik Mühendisliği, M. Fakültesi, and M. Üniversitesi, ‘Stockwell Dönüşümü, ONE-R Özellik Seçme Yöntemi ve Rastgele Orman Algoritması ile Güç Kalitesi Bozulumu Sinyallerinin Sınıflandırılması’, Fırat Univ. J. Eng. Sci., vol. 34, no. 1, pp. 267–276, Mar. 2022, doi: 10.35234/FUMBD.1018023.
• [10] F. TAŞDEMİR, ‘ROC Analizi ve R Yazılımı ile Verilerin Sınıflama Doğruluklarının Karşılaştırılması’, Ulus. Eğitim Akad. Derg., vol. 6, no. 2, pp. 230–241, Oct. 2022, doi: 10.32960/uead.1166987.