Sentiment Analysis of Comments on Courses on Massive Online Course Platforms using Text Mining

Year 2023, Volume: 15 Issue: 2, 636 - 646, 14.07.2023

Ramazan Daşgın , Kemal Adem

https://doi.org/10.29137/umagd.1266187

Abstract

In our age, things that are easily accessible, less costly, and have no time and space restrictions attract more attention. Considering the possibilities that people have recently and the development of technology, this change in people's interest has also been reflected in education. People now want to access content that they can choose from wherever they want, whenever they want. As a result of these requests, Massive Open Online Course (MOOC) platforms began to emerge. There are many paid or free courses on these platforms. Before enrolling in these courses, many people register based on the comments made and the score given to the course. However, it is not easy to decide about a course by reading all the reviews. In this study, comments made on Turkish courses on Udemy, one of the MOOC platforms, were used in order to evaluate the courses positively and negatively without the need for users to read the comments. On these comments, positive and negative evaluations were made about the courses using classical machine learning and deep learning. With BayesNet, J48 and OneR algorithms from classical machine learning, the most successful result was obtained from BayesNet algorithm with an accuracy of 91.576%. After applying Random, GloVe and Word2Vec word embeddings to the dataset, hybrid architectures of GRU and CNN-LSTM from deep learning models were applied and the most successful result was obtained from GRU architecture with an accuracy of 95.67% after using GloVe word embedding.

Keywords

MOOC, Udemy, Text Mining, Sentiment Analysis, Word2Vec, Glove

Kitlesel Çevrimiçi Ders Platformlarında Kurslara Yapılan Yorumların Metin Madenciliği Kullanılarak Duygu Analizi

Abstract

Çağımızda kolay ulaşılabilen, az maliyetli, zaman mekan kısıtı olmayan şeyler daha çok ilgi görmektedir. Son zamanlarda insanların sahip olduğu olanaklar ve teknolojinin gelişimi de düşünüldüğünde insanların ilgisinde yaşanan bu değişiklik eğitime de yansımıştır. İnsanlar artık istedikleri zaman, istedikleri yerden, kendi seçebilecekleri içeriklere ulaşmak istemektedirler. Bu istekler sonunda Kitlesel Açık Çevrimiçi Ders (KAÇD) platformları ortaya çıkmaya başlamıştır. Bu platformlar üzerinde ücretli veya ücretsiz birçok konuda kurslar yer almaktadır. Birçok kişi bu kurslara kayıt olmadan önce, kurslara yapılan yorumlara ve kursa verilen puana göre değerlendirme yapılarak kayıt olmaktadırlar. Ancak tüm yorumları okuyarak bir kurs hakkında karar vermek kolay olmamaktadır. Bu çalışmada kullanıcıların yorumları okumasına gerek kalmadan kursları olumlu olumsuz olarak değerlendirmesi amacıyla KAÇD platformlarından birisi olan Udemy sitesinde bulunan kurslara yapılan yorumlar kullanılmıştır. Bu yorumlar üzerinden klasik makine öğrenmesi ve derin öğrenme kullanarak kurslar hakkında olumlu olumsuz değerlendirmeleri yapılmıştır. Klasik makine öğrenmelerinden BayesNet, J48 ve OneR algoritmaları ile en başarılı sonuç %91.576 doğruluk ile BayesNet algoritmasından elde edilmiştir. Veri setine Random, GloVe ve Word2Vec kelime gömmeleri uygulandıktan sonra, derin öğrenme modellerinden GRU ve CNN-LSTM hibrit mimarileri uygulanmış ve en başarılı sonuç GloVe Kelime gömmesi kullanıldıktan sonra %95.67 doğruluk oranıyla GRU mimarisinden elde edilmiştir.

Keywords

KAÇD, Udemy, Metin Madenciliği, Duygu Analizi, Word2Vec, Glove

References

• Altınsoy, F. (2019). Uzaktan Eğitim Öğrencilerinin Başarılarının Yapay Zeka Teknikleri İle Tahmini. (Yüksek Lisans Tezi),Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Anabilim Dalı, Isparta.
• Başer, S. H., Hökelekli, O. & Adem, K. (2020). Ortaöğretimde Öğrenim Gören Öğrenci Performanslarının Veri Madenciliği Yöntemleri ile Tahmin Edilmesi. Bilgisayar Bilimleri ve Teknolojileri Dergisi, 1 (1), 22-27.
• Belen, N. (2018). Acil Tıp Kliniğine Göğüs Ağrısı Şikayeti ile Başvuran Hastalarda Otuz Günlük Kardiyak İlişkili Olayların Tanımlanmasında Klinik Karar Destek Sistemi (Clınıcal Decısıon Support System) Geliştirilmesi. (Uzmanlık Tezi), Sağlık Bilimleri Üniversitesi İzmir Bozyaka Eğitim ve Araştırma Hastanesi Acil Tıp Kliniği, İzmir
• Canlı, H. (2022). IoT Tabanlı Akıllı Şehirlerde Derin Öğrenme ve Mobil Tabanlı Akıllı Park Sistemi Yaklaşımı. (Doktora Tezi), Düzce Üniversitesi Lisansüstü Eğitim Enstitüsü Bilgisayar Mühendisliği Anabilim Dalı, Düzce.
• Chakravarthy, V.J. Kameswari, M. Devan Mydeen, H. & Seenivasan, M. (2021). Opinion mining from student text review for choosing better online courses. IOP Conference Series: Materials Science and Engineering, 1070, 1-13
• Chan, H. Y., Rajamohan, R., Gan, K.H. & Samsudin, N. (2021, Eylül)Text Analytics on Course Reviews from Coursera Platform.
• 2021 IEEE International Conference on Artificial Intelligence in Engineering and Technology (IICAIET), Kota Kinabalu, Malaysia.
• Cortes C, Vapnik V. 1995. Support-vector networks. Machine Learning 20: 273-297. https://doi.org/10.1007/BF00994018
• Çoban, T. (2011). Makine Öğrenme Algoritmaları ile Web Sitelerinin Tıklamalarının Analizi. (Yüksek Lisans Tezi), Beykent Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Anabilim Dalı, İstanbul
• Degadwala, S., Vyas, D., Chakraborty, U., Dider, A. R., & Biswas, H. (2021). Yolo-v4 Deep Learning Model for Medical Face Mask Detection. 2021 International Conference on Artificial Intelligence and Smart Systems (ICAIS), 209-213.
• Demirci, N. (2014). What is Massive Open Online Courses (MOOCs) and What is promising us for learning?: A Review-evaluative Article about MOOCs. Necatibey Eğitim Fakültesi Elektronik Fen ve Matematik Eğitimi Dergisi, 8(1), 231-256.
• Dina, N., Yunardi, R., & Firdaus, A. (2021). Utilizing text mining and feature-sentiment-pairs to support data-driven design automation massive open online course. International Journal of Emerging Technologies in Learning (iJET), 16(1), 134-151.
• Edalati, M., Imran, A.S., Kastrati, Z., Daudpota, S.M. (2022). The Potential of Machine Learning Algorithms for Sentiment Classification of Students’ Feedback on MOOC. In: Arai, K. (eds) Intelligent Systems and Applications. IntelliSys 2021. Lecture Notes in Networks and Systems, vol 296. Springer, Cham.
• Eraldemir, S. G. (2014). EEG verileri kullanılarak metinsel okuma ve matematiksel işlemlerin analizi. (Yüksek Lisans Tezi), Mustafa Kemal Üniversitesi Fen Bilimleri Enstitüsü Elektrik-Elektronik Mühendisliği Ana Bilim Dalı, Hatay.
• Eren, M. Ç. (2022). Yinelemeli Sinir Ağları İle Sermaye Piyasası Yön Tahmini Üzerine Bir Çalışma. (Yüksek Lisans), İstanbul Teknik Üniversitesi Lisansüstü Eğitim Enstitüsü Endüstri Mühendisliği Anabilim Dalı, İstanbul.
• Fındık, M. M. (2022). Derin Öğrenme Tabanlı Hibrit Tahminleme Modeli Kullanarak Rüzgar Hızı Tahminlemesi. (Yüksek Lisans Tezi), Tokat Gaziosmanpaşa Üniversitesi Lisansüstü Eğitim Enstitüsü Elektrik-Elektronik Mühendisliği Anabilim Dalı, Tokat.
• Gencer, M. (2022). Yapısal Olmayan Metinler İçin Adlandırılmış Varlık Tanıma Algoritmaları ve Uygulamaları. (Yüksek Lisans Tezi), Dokuz Eylül Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Bilimleri Anabilim Dalı, İzmir.
• Gürtürk, U. (2022). Türkiye’nin Siber Güvenlik Politikalarının Yazılım Mühendisliği Açısından Değerlendirilmesi ve Kritik Altyapıların Siber Saldırılardan Korunmasına Yönelik Olay Yönetim Sistemi Tasarım. (Yüksek Lisans Tezi), İstanbul Üniversitesi-Cerrahpaşa Lisansüstü Eğitim Enstitüsü Bilgisayar Mühendisliği Anabilim Dalı, İstanbul.
• Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, vol. 9, no. 8, pp. 1735-1780, 15 Nov. 1997, doi: 10.1162/neco.1997.9.8.1735.
• Holte, R.C. (1993) Very simple classification rules perform well on most commonly used data sets. Machine Learning, 11(1), 63-90.
• İşgör Şimşek, E. 2015, Mobil Ortamlarda Kitlesel Açık Çevrimiçi Derslerin (Kaçd) Kullanılabilirliğinin Değerlendirilmesi. (Yüksek Lisans Tezi), Mimar Sinan Güzel Sanatlar Üniversitesi Fen Bilimleri Enstitüsü, İstanbul.
• Kaynar, O. Arslan, H. Görmez, Y. & Işık, Y. E. (2018). Makine Öğrenmesi ve Öznitelik Seçim Yöntemleriyle Saldırı Tespiti. Bilişim Teknolojileri Dergisi, 11 (2), 175-185. DOI: 10.17671/gazibtd.368583
• Keskin, C. (2022). Graf Tabanlı Yaklaşım ile Uzun Vadeli Trafik Akış Hızı Tahmini. (Yüksek Lisans Tezi), Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Anabilim Dalı, İstanbul.
• Lecun, Y., Bengio, Y., Hinton, G. (2015). Deep learning. Nature, 521(7553): 436–444.
• Onan, A. (2020). Sentiment analysis on massive open online course evaluations: A text mining and deep learning approach. Specıal Issue Artıcle 29(3), 572-589.
• Özbilen, M. L. (2022). Hisse Senedi Fiyat Tahmininde Otokodlayıcı ve Graf Evrişimli Ağının Uygulanması. (Yüksek Lisans Tezi), İstanbul Teknik Üniversitesi Lisansüstü Eğitim Enstitüsü Bilgisayar Mühendisliği Anabilim Dalı, İstanbul.
• Özdemir, E. (2020). Basketbol Maç Sonuçlarının Makine Öğrenmesi Yöntemleri ile Tahmin Edilmesi. (Yüksek Lisans Tezi), Muğla Sıtkı Koçman Üniversitesi Fen Bilimleri Enstitüsü Bilişim Sistemleri Mühendisliği Anabilim Dalı, Muğla.
• Özden, C. (2018). The Effects Of Preprocessıng Methods On Predıctıon Of Traffıc Accıdent Severıty. (Yüksek Lisans Tezi), Çukurova Unıversıty Instıtute Of Natural And Applıed Scıences Department Of Computer Engıneerıng, Adana.
• Quinlan, J. R. (2014). C4. 5: programs for machine learning. Elsevier.
• Seyidbayli, C. (2022). Transfer Öğrenmesi Tabanlı Hibrit Evrişimsel Sinir Ağı Modelleri Kullanılarak Meme Kanseri Teşhisi. Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü Mekatronik Mühendisliği Anabilim Dalı, İstanbul.
• Sindhu, I., Daudpota, S. M., Badar, K., Bakhtyar, M., Baber, J., & Nurunnabi, M. (2019). Aspect-based opinion mining on student’s feedback for faculty teaching performance evaluation. IEEE Access, 7, 108729-108741.
• Şahin, E. B., & Durdu, P. O. (2021). Bilişsel gezinti ile kitlesel açık çevrimiçi ders (kaçd) web sitelerinin kullanılabilirliğinin değerlendirilmesi. Bilişim teknolojileri dergisi, 14(4), 377-389.
• Tavacı, H. (2011). GSM şebekelerinde sahtekarlık yönetimi için veri madenciliği yöntemlerinin uygulanması. (Yüksek Lisans Tezi), Bahçeşehir Üniversitesi Fen Bilimleri Enstitüsü Bilgi Teknolojileri Ana Bilim Dalı, İstanbul.
• Tekinarslan, R. (2022). Çevrimiçi Öğrenme Ortamlarında Öğrenme Analitiği Verileri ve Makine Öğrenmesi Kullanarak Akademik Başarının Değerlendirilmesi. (Yüksek Lisans Tezi), Başkent Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Anabilim Dalı, Ankara.
• Yaşar, H. (2022). Covıd-19 Hastalığının Derin Öğrenme Yöntemleri Kullanılarak Tespiti. (Doktora Tezi), Konya Teknik Üniversitesi Lisansüstü Eğitim Enstitüsü Elektrik-Elektronik Mühendisliği Anabilim Dalı, Konya.
• Yıldız, E. (2020). LSTM ve Metin Sınıflandırması. 14.01.2023 tarihinde https://medium.com/@iamemreyildiz/lstm-ve-metinsınıflandırması c1a48eb53e01 adresinden erişilmiştir.