Music Genre Recognition Based on Hybrid Feature Vector with Machine Learning Methods

Year 2023, , 739 - 750, 18.10.2023

Serhat Hızlısoy , Recep Sinan Arslan , Emel Çolakoğlu

https://doi.org/10.21605/cukurovaumfd.1377737

Cited By: 1

Abstract

Music genre recognition is one of the main problems in infotainment tools and music streaming service providers for different tasks such as music selection, classification, recommendation, and personal list creation. Automatic genre recognition systems can be useful for different music-based systems, especially different music platforms. Therefore, this study aimed to classify music genres using machine learning. In this context, GTZAN dataset consisting of 10 classes was used. In this dataset, data augmentation was applied by segmentation. Each record of 30 seconds was divided into 10 parts, increasing the number of samples in the dataset by a factor of 10. Then, features were extracted from the audio signals. The resulting features are chroma, harmony, mel frequency cepstral coefficients, perceptr, root mean square, roll-off, spectral centroid, tempo, and zero crossing rate. The types, variances, and averages of the obtained features were used. Thus, 57 features were obtained. This feature set was pre-processed by delimiting the decimal part, standardization, and label encoding. In the last step, classification was made with different machine learning methods and the results were compared. As a result of hyperparameter optimization in the Extra Tree model, 92.3% performance was achieved. Precision recall and f-score values are 92.4%, 92.3%, and 92.3%, respectively. As a result, an efficient and high-performance model in music genre recognition was created.

Keywords

Machine learning, Music genre recognition, Extra tree classifier, Segmentation

Makine Öğrenimi Yöntemleriyle Hibrit Özellik Vektörüne Dayalı Müzik Türü Tanıma

Abstract

Müzik türü tanıma, müzik seçimi, sınıflandırma, öneri ve kişisel liste oluşturma gibi farklı görevler için bilgi-eğlence araçlarında ve müzik akışı servis sağlayıcılarında ana sorunlardan biridir. Otomatik tür tanıma sistemleri, farklı müzik tabanlı sistemler, özellikle farklı müzik platformları için yararlı olabilir. Bu sebeple, bu çalışmada makine öğrenmesi kullanılarak müzik türlerinin sınıflandırılması amaçlanmıştır. Bu kapsamda 10 sınıftan oluşan GTZAN veri seti kullanılmıştır. Bu veri setinde, segmentasyon ile veri büyütme uygulanmıştır. 30 saniyelik her kayıt 10 parçaya bölünerek veri kümesindeki örnek sayısı 10 kat artırılmıştır. Daha sonra da ses sinyallerinden öznitelikler çıkarılmıştır. Ortaya çıkan öznitelikler, renk, uyum, mel frekansı kepstral katsayıları, algılayıcı, kök kare ortalama, yuvarlama, spektral merkez, tempo ve sıfır geçiş oranıdır. Elde edilen özniteliklerin türleri, varyansları ve ortalamaları kullanılmıştır. Böylece 57 öznitelik elde edilmiştir. Bu öznitelik seti, ondalık bölümün sınırlandırılması, standardizasyon ve etiket kodlaması ile önceden işlenmiştir. Son adımda ise farklı makine öğrenmesi yöntemleri ile sınıflandırma yapılmış ve sonuçlar karşılaştırılmıştır. Extra Tree modelinde hiperparametre optimizasyonu sonucunda %92,3 performans elde edilmiştir. Kesinlik, hatırlama ve f-skoru değerleri sırasıyla %92,4, %92,3 ve %92,3'tür. Sonuçta, müzik türü tanımada verimli ve yüksek başarıma sahip bir model ortaya çıkarılmıştır.

Keywords

Makine öğrenmesi, Müzik tür tanıma, Ekstra ağaç sınıflandırma, Bölünme

References

• 1. Farajzadeh, N., Sadeghzadeh, N., Hashemzadeh, M., 2023. PMG-Net: Persian Music Genre Classification Using Deep Neural Networks. Entertainment Computing, 100518.
• 2. Çoban, Ö., Özyer, G.T., 2016. Music Genre Classification from Turkish Lyrics. In 2016 24th Signal Processing and Communication Application Conference (SIU), 101-104, IEEE.
• 3. Karatana, A., Yıldız, O., 2017. Music Genre Classification with Machine Learning Techniques. 2017 25th Signal Processing and Communications Applications Conference (SIU), Antalya.
• 4. Hizlisoy, S., Tufekci, Z., 2021. Derin Öğrenme ile Türkçe Müziklerden Müzik Türü Sınıflandırması. Avrupa Bilim ve Teknoloji Dergisi, (24), 176-183.
• 5. Hizlisoy, S., Yildirim, S., Tufekci, Z., 2021. Music Emotion Recognition Using Convolutional Long Short Term Memory Deep Neural Networks. Engineering Science and Technology, An International Journal, 24(3), 760-767.
• 6. Salazar, A.E.C., 2022. Hierarchical Mining with Complex Networks for Music Genre Classification. Digital Signal Processing, 103559.
• 7. Yu, Y., Luo, S., Liu, S., Qiao, H., Liu, Y., Feng, L., 2020. Deep Attention Based Music Genre Classification. Neurocomputing, 84-91.
• 8. Gwardys, G., Grzywczak, D., 2014. Deep Image Features in Music Information Retrieval. Intl Journal of Electronics and Telecommunications, 60(4), 321-326.
• 9. Durdağ, Z., Erdoğmuş, P., 2019. A New Genre Classification with the Colors of Music. Sakarya University Journal of Computer and Information Sciences, 2(1), 53-60.
• 10. Arslan, R.S., 2021. Automatic Music Genre Recognition Model Based on Machine Learning. Art and Desing-2021, 21-22 June. Niğde: Omer Halisdemir University.
• 11. Le Thuy, D., Loan, T., Thanh, C., Cuong, N., 2022. Music Genre Classification Using Densenet and Data Augmentation. Computer Systems Science and Engineering, 47(1), 657-674.
• 12. Sharma, D., Taran, S., Pandey, A., 2023. A Fusion Way of Feature Extraction for Automatic Categorization of Music Genres. Multimedia Tools and Applications (82), 25015-25038.
• 13. Ashraf, M., Abid, F., Din, I., Rasheed, J., Yesiltepe, M., Yeo, S., Ersoy, M., 2023. A Hybrid Cnn and Rnn Variant Model for Music Classification. Applied Sciences 13(3),1476.
• 14. Yin, T., 2023. Music Track Recommendation Using Deep-CNN and Mel Spectrograms. Mobile Networks and Applications, 1-8.
• 15. Zhang, X., 2023. Music Genre Classification by Machine Learning Algorithms. Highlights in Science, Engineering and Technology, 38, 215-219.
• 16. Prabhakar, S.K., Lee, S.W., 2023. Holistic Approaches to Music Genre Classification using Efficient Transfer and Deep Learning Techniques. Expert Systems with Applications, 211, 118636.
• 17. Jakubec, M., Chmulik, M., 2019. Automatic Music Genre Recognition for In-Car Infotainment. Transportation Research Procedia, 1364-1371.
• 18. Hongdan, W., SalmiJamali, S., Zhengping, C., Qiaojuan, S., Ren, Le., 2022. An Intelligent Music Genre Analysis Using Feature Extraction and Classification using Deep Learning Techniques. Computers and Electrical Engineering, 100, 107978.
• 19. Singh, Y., Biswas, A., 2022. Robustness of Musical Features on Deep Learning Models for Music Genre Classification. Expert Systems with Applications, 199, 116879.
• 20. Çiftler, A.F., 2019. Veri Bilimi Notları 4 – Özellik Ölçeklendirme / Normalizasyon / Standartlaştırma. https://tr.linkedin.com/pulse/ veri-bilimi-notlar%C4%B1-4-%C3%B6zellik-%C3%B6l%C3%A7eklendirme-abdullah-faruk -%C3%A7i%CC%87ftler. Access date: August 2023.
• 21. Tilki, M., 2020. Label Encoder ve Onehotencoder Karşılaştırması. medium: https://medium.com/operations-management-T%C3%Bcrkiye/label-encoder-veonehotenco derkar%C5%9f%C4%B1la%C5%9ft%C4%B1rmas%C4%B1-C0983e884fc5, Access date: August 2023.
• 22. Scikit Learn, 2023. Sklearn. Ensemble. Extratreesclassifier. Sklearn: https://scikit learn.org/stable/modules/generated/sklearn.ensemble.extratreesclassifier.html, Access date: July 2023.
• 23. Yılmaz, P., Akçakaya, Ş., Özkaya, Ş.D., Çetin, A., 2022. Machine Learning Based Music Genre Classification and Recommendation System. El-Cezeri, 9(4), 1560-1571.
• 24. Liu, Z., Bian, T., Yang, M., 2023. Locally Activated Gated Neural Network for Automatic Music Genre Classification. Applied Sciences, 13(8), 5010.