Utilising generative AI to assist in the creation and production of Chinese popular music

Abstract

Background: The rapid development of generative artificial intelligence (AI) has had a significant impact on the music industry, particularly Chinese popular music (C-pop), which presents unique difficulties due to its distinctive melodic structures and emotional depth. While AI can boost efficiency and inspire composers, current models are ineffective in feature selection and prediction accuracy, leading to compositions without stylistic integrity and commercial viability. Problem Statement: Current AI-generated melodies often lack the stylistic depth of human compositions and fail to predict market success accurately. These challenges highlight the need for a more effective AI framework capable of generating high-quality melodies. Objectives: This study introduces the GenAI Melody-LSTM algorithm. This generative AI-driven technique uses Long Short-Term Memory (LSTM) networks to create melodies inspired by Chinese pop songs and forecasts their success. The main goals are to build an AI pipeline for music preprocessing, improve feature selection, train a deep learning model for stylistically consistent melodies, and compare its effectiveness to other methods. Methodology: The methodology utilises a GenAI Melody-LSTM algorithm, which contains data preprocessing techniques such as mode and mean imputation, label encoding, and Min-Max scaling. Feature selection is improved using the Hybrid Filter-Wrapper Ensemble (HFWE) method, which combines Mutual Information, Chi-Square Test, ANOVA F-Test, and Recursive Feature Elimination (RFE) with Support Vector Machine (SVM), Random Forest, and Gradient Boosting Machine (GBM), with the final subset determined by majority voting. The selected features, like melody structure, key signature, tempo, rhythm complexity, instrumentation, and emotion, are used as inputs for an LSTM-based deep learning model that comprises multiple LSTM layers, dropout layers to prevent overfitting, and a dense output layer to create melodies and forecast their commercial success. Results: Performance evaluation using accuracy, precision, recall, F1-score, and Matthew’s correlation coefficient (MCC) provides better results with the GenAI Melody-LSTM algorithm, with 89.7% accuracy, 87.5% precision, 88.2% recall, an F1-score of 87.8%, and an MCC of 0.82. Conclusion: This research demonstrates that integrating generative AI, optimal feature selection, and deep learning significantly enhances Chinese pop music compositions. The LSTM-based model generates melodies and predicts their commercial viability, enabling composers to fine-tune AI-generated music for improved quality and market appeal.

Keywords

• Generative AI
• Chinese pop music
• LSTM networks
• feature selection
• melody prediction

Çin popüler müziğinin yaratılması ve üretilmesine yardımcı olmak için üretken yapay zekanın kullanılması

Abstract

Arka Plan: Üretken yapay zekanın (YZ) hızla gelişmesi, özellikle kendine özgü melodik yapıları ve duygusal derinliği nedeniyle benzersiz zorluklar sunan Çin popüler müziği (C-pop) olmak üzere müzik endüstrisi üzerinde önemli bir etkiye sahip olmuştur. Yapay zeka verimliliği artırabilir ve bestecilere ilham verebilirken, mevcut modeller özellik seçimi ve tahmin doğruluğu konusunda etkisizdir ve bu da stilistik bütünlük ve ticari uygulanabilirliği olmayan bestelere yol açmaktadır. Sorun Bildirimi: Mevcut YZ tarafından üretilen melodiler genellikle insan bestelerinin stilistik derinliğinden yoksundur ve pazar başarısını doğru bir şekilde tahmin edememektedir. Bu zorluklar, yüksek kaliteli melodiler üretebilen daha etkili bir YZ çerçevesine olan ihtiyacı vurgulamaktadır. Amaçlar: Bu çalışma, Çin pop şarkılarından esinlenerek melodiler oluşturmak ve bunların başarısını tahmin etmek için Uzun Kısa Süreli Bellek (LSTM) ağlarını kullanan üretken bir YZ odaklı teknik olan GenAI Melody-LSTM algoritmasını tanıtmaktadır. Ana hedefler, müzik ön işleme için bir YZ boru hattı oluşturmak, özellik seçimini iyileştirmek, stilistik olarak tutarlı melodiler için derin öğrenme modeli eğitmek ve etkinliğini diğer yöntemlerle karşılaştırmaktır. Metodoloji: Metodoloji, mod ve ortalama hesaplama, etiket kodlama ve Min-Max ölçekleme gibi veri ön işleme tekniklerini içeren bir GenAI Melody-LSTM algoritmasını kullanır. Özellik seçimi, Karşılıklı Bilgi, Ki-Kare Testi, ANOVA F Testi ve Destek Vektör Makinesi (SVM), Rastgele Orman ve Gradyan Artırma Makinesi (GBM) ile Yinelemeli Özellik Eleme (RFE)’yi birleştiren Hibrit Filtre-Sarmalayıcı Topluluğu (HFWE) yöntemi kullanılarak iyileştirilir ve son alt küme çoğunluk oyu ile belirlenir. Melodi yapısı, anahtar imzası, tempo, ritim karmaşıklığı, enstrümantasyon ve duygu gibi seçilen özellikler, birden fazla LSTM katmanı, aşırı uyumu önlemek için bırakma katmanları ve melodiler oluşturmak ve ticari başarılarını tahmin etmek için yoğun bir çıktı katmanı içeren LSTM tabanlı bir derin öğrenme modeli için girdi olarak kullanılır. Sonuçlar: Doğruluk, kesinlik, geri çağırma, F1 puanı ve Matthew’nun korelasyon katsayısı (MCC) kullanılarak yapılan performans değerlendirmesi, %89,7 doğruluk, %87,5 kesinlik, %88,2 geri çağırma, %87,8’lik bir F1 puanı ve 0,82’lik bir MCC ile GenAI Melody-LSTM algoritmasıyla daha iyi sonuçlar sağlar. Sonuç: Bu araştırma, üretken AI, optimum özellik seçimi ve derin öğrenmenin entegre edilmesinin Çin pop müziği bestelerini önemli ölçüde geliştirdiğini göstermektedir. LSTM tabanlı model melodiler üretir ve bunların ticari uygulanabilirliğini tahmin ederek bestecilerin AI tarafından üretilen müziği gelişmiş kalite ve pazar çekiciliği için ince ayar yapmalarını sağlar.

Keywords

• Üretken yapay zeka
• Çin pop müziği
• LSTM ağları
• özellik seçimi
• melodi tahmini

References

1. Banh, L., & Strobel, G. (2023). Generative artificial intelligence. Electronic Markets, 33(1), 63.
2. Bian, W., Song, Y., Gu, N., Chan, T. Y., Lo, T. T., Li, T. S., Wong, K. C., Xue, W., & Alonso Trillo, R. (2024). MoMusic: A motion-driven human-AI collaborative music composition and performing system. In Proceedings of the AAAI Conference on Artificial Intelligence (pp. 16057-16062). https://doi.org/10.1609/aaai.v37i13.26907
3. Briot, J. P. (2021). From artificial neural networks to deep learning for music generation: History, concepts, and trends. Neural Computing and Applications, 33(1), 39-65. https://doi.org/10.1007/s00521-020-05399-0
4. Civit, M., Civit-Masot, J., Cuadrado, F., & Escalona, M. J. (2022). A systematic review of artificial intelligence-based music generation: Scope, applications, and future trends. Expert Systems with Applications, 209, 118190. https://doi.org/10.1016/j.eswa.2022.118190
5. Ferreira, P., Limongi, R., & Fávero, L. P. (2023). Generating music with data: Application of deep learning models for symbolic music composition. Applied Sciences, 13(7), 4543. https://doi.org/10.3390/app13074543
6. Gao, X., Chen, D. K., Gou, Z., Ma, L., Liu, R., Zhao, D., & Ham, J. (2024). AI-driven music generation and emotion conversion. In S. Fukuda (Ed.), Affective and pleasurable design (Vol. 123, pp. 82-93). https://doi.org/10.54941/ahfe1004679
7. Hernandez-Olivan, C., & Beltran, J. R. (2022). Music composition with deep learning: A review. arXiv. https://doi.org/10.48550/arXiv.2108.12290
8. Mitra, R., & Zualkernan, I. (2025). Music generation using deep learning and generative AI: A systematic review. IEEE Access, 13, 18079-18106. https://doi.org/10.1109/access.2025.3531798

9. Pereverzeva, M. V. (2021). The prospects of applying artificial intelligence in musical composition. Russian Musicology, (1), 8-16. http://dx.doi.org/10.33779/2587-6341.2021.1.008-016
10. Siphocly, N. N. J., El-Horbaty, E. S. M., & Salem, A. B. M. (2021). Top 10 artificial intelligence algorithms in computer music composition. International Journal of Computing and Digital Systems, 10(1), 373-394. http://dx.doi.org/10.12785/ijcds/100138
11. Siphocly, N. N., Salem, A. B. M., & El-Horabty, E. S. M. (2021). Applications of computational intelligence in computer music composition. International Journal of Intelligent Computing and Information Sciences, 21(1), 59-67. http://dx.doi.org/10.21608/ijicis.2021.62820.1060
12. Sturm, B. L., & Ben-Tal, O. (2021). Folk the algorithms: (Mis)Applying artificial intelligence to folk music. In E. R. Miranda (Ed.), Handbook of artificial intelligence for music (pp. 423-454). Springer. https://doi.org/10.1007/978-3-030-72116-9_16
13. Suh, M., Youngblom, E., Terry, M., & Cai, C. J. (2021, May). AI as social glue: Uncovering the roles of deep generative AI during social music composition. In CHI Conference on Human Factors in Computing Systems (pp. 1-11). https://doi.org/10.1145/3411764.3445219
14. Yu, X., Ma, N., Zheng, L., Wang, L., & Wang, K. (2023). Developments and applications of artificial intelligence in music education. Technologies, 11(2), 42. https://doi.org/10.3390/technologies11020042