Makine öğrenme algoritmalarını kullanan duygu tahminine dayalı müzik öneri sistemi

Year 2023, Volume: 18 Issue: 68, 189 - 234, 30.12.2023

Hasan Alıyev Peri Güneş

Abstract

Müzik, insanlık tarihi boyunca duygusal ifadenin araçlarından biri olmuştur. Farklı kültürlerde farklı zaman dilimlerinde müzik bireylerin deneyimlerini duygularını anlatmanın eşsiz bir yolunu sunmuştur. Teknolojik ilerlemelerle birlikte müzikle etkileşimimizde büyük bir gelişme yaşanmış dijital platformlar sayesinde müziğe erişimimiz kolaylaşmıştır.
Geleneksel müzik öneri sistemleri kullanıcının müzik dinleme alışkanlıklarını baz alırken bu çalışma anlık duygu durumunu değerlendirerek müzik önerisi sunmayı hedeflemiştir. Kullandığımız model CNN temelli bir duygu tanıma sistemidir. Bu model yüz görüntülerini analiz ederek yedi duygudan birini tahmin eder. Modelin eğitim sürecinde Confusion Matrix sonuçları modelin duygu sınıflandırma konusunda iyi bir performans sergilediğini göstermektedir. ROC eğrisi analiz sonuçları modelin duyguyu tahmin etme kabiliyetinin yüksek olduğunu göstermektedir. Özellikle modelin genel doğruluk oranının %92,7 olması bu modelin ne kadar etkili olduğunu göstermektedir.
Bu çalışma, duyguya göre müzik öneri sistemlerinin kullanıcı deneyimini daha etkili bir hale getirme potansiyeline sahip olduğu görünmekte. Kullanıcının mevcut duygusunu analiz ederek, ona en uygun müzikleri önerme yeteneği müzik öneri sistemlerinin geleceğini şekillendirecek yenilikçi bir yaklaşım sunmaktadır.

Keywords

Evrişimli sinir ağları, duygu tanıma, müzik öneri sistemleri, derin öğrenme, yüz ifadesi analizi

Music recommendation system based on Emotion Prediction using machine learning Algorithms

Abstract

Music has been a means of emotional expression throughout human history. Different cultures and times have offered unique ways of expressing the emotions experienced by individuals through music. Technological advancements have greatly enhanced our interaction with music, making access easier thanks to digital platforms.
While traditional music recommendation systems are based on the user's listening habits, this study aims to provide music recommendations by evaluating the user's immediate emotional state. We utilize a CNN-based emotion recognition system for this purpose. This model predicts one of seven emotions by analyzing facial images. The results of the Confusion Matrix in the training phase indicate that the model is proficient at classifying emotions. ROC curve analysis shows the model's high capability in emotion prediction. Notably, the model's overall accuracy stands at 92.7%, highlighting its effectiveness.
This research demonstrates the potential of emotion-based music recommendation systems in enhancing the user experience. The capacity to recommend the most fitting music by gauging the user's current emotional state presents an innovative approach that may shape the future of music recommendation systems.

Keywords

Convolutional Neural Networks, emotion recognition, music recommendation systems, deep learning, facial expression analysis.

References

• De Prisco, R., et al. (2022). Induced Emotion-Based Music Recommendation through Reinforcement Learning. Applied Sciences, 12(21), 11209.
• Martínez, J., & Vega, J. (2022). ROS System Facial Emotion Detection Using Machine Learning for a Low-Cost Robot Based on Raspberry Pi. Electronics, 12(1), 90.
• He, J. (2022). Algorithm Composition and Emotion Recognition Based on Machine Learning. Computational Intelligence and Neuroscience.
• Ka, S., et al. (2021). Facial Emotion Based Music Recommendation System Using Computer Vision and Machine Learning Techniques. Turkish Journal of Computer and Mathematics Education, 12(1), 912-917.
• Koukaras, P., Nousi, C., & Tjortjis, C. (2022). Stock Market Prediction Using Microblogging Sentiment Analysis and Machine Learning. Telecom, 3(2). MDPI.
• Rosa, R. L., Rodriguez, D. Z., & Bressan, G. (2015). Music Recommendation System Based on User’s Sentiments Extracted from Social Networks. IEEE Transactions on Consumer Electronics, 61(3), 359-367.
• Sashank, M. S. K., et al. (2022). Mood-Based Music Recommendation System Using Facial Expression Recognition and Text Sentiment Analysis. Journal of Theoretical and Applied Information Technology, 100(19).
• Chirasmayee, B. V. S., et al. (2022). Song Recommendation System Using TF-IDF Vectorization and Sentimental Analysis.
• Mehta, R., & Gupta, S. (2021). Movie Recommendation Systems Using Sentiment Analysis and Cosine Similarity. International Journal of Modern Trends in Science and Technology, 7(01), 16-22.
• Düzbastılar, M. E., & Eyüpoğlu, G. (2019). Müzik Öğretmenlerinin Özel Eğitime İhtiyacı Olan Öğrencilerin Müzik Öğretimine İlişkin Tutumlarının İncelenmesi. International Journal of Social Sciences and Education Research, 5(4), 384-404.
• Aydoğan, M., & Şener, A. (2020). Duygu Analizi Tabanlı Yeni Bir Hibrit Tavsiyeci Sistem. Euroasia Journal of Mathematics, Engineering, Natural & Medical Sciences, 7(13), 48-62.
• Gündüz, İ., & YILMAZ, Ö. (2021). Yüz İfadesini Algılayarak Kullanıcının Ruh Haline Göre İçerik Öneren Mobil Uygulama. Avrupa Bilim ve Teknoloji Dergisi, 28, 192-197.
• Yi, S., & Liu, X. (2020). Machine Learning Based Customer Sentiment Analysis for Recommending Shoppers, Shops Based on Customers’ Review. Complex & Intelligent Systems, 6(3), 621-634.
• Siam, A. I., et al. (2022). Deploying Machine Learning Techniques for Human Emotion Detection. Computational Intelligence and Neuroscience.
• Wang, J., & Perez, L. (2017). The Effectiveness of Data Augmentation in Image Classification Using Deep Learning.
• Parmigiani, G. (2020). Receiver Operating Characteristic Curves with an Indeterminacy Zone. Pattern Recognition Letters, 136, 94-100.
• Qiu, H., & Jia, X. (2022). Western Music History Recommendation System Based on Internet-of-Things Data Analysis Technology. Mobile Information Systems, 2022, 8920599.
• Shorten, C., & Khoshgoftaar, T.M. (2019). A survey on Image Data Augmentation for Deep Learning. Journal of Big Data, 6(1), 60.
• Masud, M. (2022). A light-weight convolutional Neural Network Architecture for classification of COVID-19 chest X-Ray images. Multimedia Systems, 28(4), 1165–1174.
• Nan, Y., Ju, J., Hua, Q., Zhan[g, H., & Wang, B. (2022). A-MobileNet: An approach of facial expression recognition. Alexandria Engineering Journal, 61(6), 4435-4444.
• Reyad, M., Sarhan, A., & Arafa, M. (2023). A modified Adam algorithm for deep neural network optimization. Neural Computing & Applications, 35, 17095–17112.
• Düntsch, I., & Gediga, G. (2019). Confusion matrices and rough set data analysis. In Proceedings of the 2019 International Conference on Pattern Recognition and Intelligent Systems (PRIS 2019).
• Wu, M.T. (2022). Confusion matrix and minimum cross-entropy metrics based motion recognition system in the classroom. Scientific Reports, 12, 3095.
• Görtler, J., Hohman, F., Moritz, D., Wongsuphasawat, K., Ren, D., Nair, R., Kirchner, M., & Patel, K. (2022). Neo: Generalizing Confusion Matrix Visualization to Hierarchical and Multi-Output Labels. In CHI ‘22: Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (Article No. 408, pp. 1-13).
• Yik, M., Widen, S., & Russell, J. (2013). The within-subjects design in the study of facial expressions. Cognition & Emotion, 27.