Reinforcement Learning-Enhanced Fair Resource Management for eMBB and URLLC Traffic in 5G Networks

Öz

In this paper, we propose a novel reinforcement learning (RL)-aided adaptive scheduling mechanism for fair resource scheduling of enhanced Mobile Broadband (eMBB) and Ultra-Reliable Low Latency Communication (URLLC) traffic in 5G networks. To this end, we introduce a comprehensive Simulink simulation tool that visually facilitates intelligent QoS management based on adaptive thresholds and feedback performance loops. The suggested approach dynamically allocates resources by designing RL-like adaptive learning logic using off-the- shelf Simulink blocks. It also adapts in real-time to evolving traffic conditions by providing quality-of-service (QoS) differentiation. Experimental results demonstrate that our method achieves a 67% improvement in system efficiency and a 45% reduction in QoS violations compared to conventional baselines. This reflects effective learning dynamics and improved resource utilization, with O(1) computational complexity per scheduling decision.

Anahtar Kelimeler

• 5G Networks
• Adaptive Scheduling
• eMBB
• Simulink
• URLLC
• Resource Management

5G Ağlarında eMBB Ve URLLC Trafiği İçin Pekiştirmeli Öğrenme Destekli Adil Kaynak Yönetimi

Öz

Bu çalışmada, 5G ağlarında Gelişmiş Mobil Genişbant (eMBB) ve Ultra Güvenilir Düşük Gecikmeli İletişim (URLLC) trafik türleri arasında adil kaynak zamanlamasını sağlamak amacıyla pekiştirmeli öğrenme (RL) destekli yeni bir uyarlanabilir zamanlama mekanizması önerilmektedir. Bu amaç doğrultusunda, uyarlanabilir eşik değerleri ve geri besleme temelli performans döngülerine dayalı, akıllı hizmet kalitesi (QoS) yönetimini görsel olarak simüle etmeye olanak tanıyan bütüncül bir Simulink simülasyon aracı geliştirilmiştir. Önerilen yaklaşım, hazır Simulink bloklarıyla RL benzeri öğrenme mantığı tasarlanarak dinamik kaynak tahsisini mümkün kılmakta ve hizmet kalitesi farklılaştırması yoluyla trafik koşullarındaki değişimlere gerçek zamanlı uyum sağlamaktadır. Gerçekleştirilen deneyler, önerilen yöntemin geleneksel yaklaşımlara kıyasla sistem verimliliğini %67 oranında artırdığını ve QoS ihlallerini %45 oranında azalttığını ortaya koymaktadır. Ayrıca, her bir zamanlama kararında O(1) seviyesinde hesaplama karmaşıklığı ile etkili öğrenme dinamikleri ve gelişmiş kaynak kullanımı sağlandığı görülmüştür.

Anahtar Kelimeler

• 5G Ağları
• Uyarlanabilir Zamanlama
• eMBB
• Simulink
• URLLC
• Kaynak Yönetimi

Kaynakça

1. [1] 3GPP, "Technical Specification Group Radio Access Network; Study on New Radio (NR) Access Technology," 3GPP TR 38.912 V14.1.0, Mar. 2017.
2. [2] 3GPP, "Study on Scenarios and Requirements for Next Generation Access Technologies," 3GPP TR 22.870 V16.1.0, Jun. 2018.
3. [3] M. Chen, W. Saad, and C. Yin, "Virtual reality over wireless networks: Quality-of-service model and learning-based resource management," IEEE Trans. Commun., vol. 66, no. 11, pp. 5621-5635, Nov. 2018.
4. [4] Y. Sun, M. Peng, Y. Zhou, Y. Huang, and S. Mao, "Application of machine learning in wireless networks: Key techniques and open issues," IEEE Commun. Surv. Tutor., vol. 21, no. 4, pp. 3072-3108, 2019.
5. [5] Z. Shao, Q. Wu, P. Fan, N. Cheng, Q. Fan, and J. Wang, "Semantic-Aware Resource Allocation Based on Deep Reinforcement Learning for Cellular-V2X HetNets," IEEE Wireless Commun. Lett., vol. 12, no. 10, pp. 1729-1733, Oct. 2023.
6. [6] N. C. Luong, D. T. Hoang, S. Gong, D. Niyato, P. Wang, Y.-C. Liang, and D. I. Kim, "Applications of Deep Reinforcement Learning in Communications and Networking: A Survey," IEEE Commun. Surv. Tutor., vol. 21, no. 4, pp. 3133-3175, Fourth Quarter 2019.
7. [7] S. Zhang, Y. Lim, D. W. K. Ng, and M. Elkashlan, "Joint power and resource allocation for URLLC and eMBB in 5G new radio," IEEE Trans. Commun., vol. 68, no. 7, pp. 4281-4295, Jul. 2020.
8. [8] H. Zhang et al., "Deep reinforcement learning for energy-efficient computation offloading in mobile edge computing," IEEE Internet Things J., vol. 6, no. 3, pp. 4005-4018, Jun. 2019.

9. [9] M. A. A. Al-Habashna, S. Al-Rubaye, and A. Anpalagan, "Deep Reinforcement Learning for Joint Uplink/Downlink Resource Allocation in eMBB and URLLC Coexistence," IEEE Trans. Cogn. Commun. Netw., vol. 8, no. 3, pp. 1380-1393, Sep. 2022.
10. [10] W. Ahsan, M. Yilmaz, S. M. Qadir, M. A. Latif, and A. Nallanathan, "Resource allocation in uplink NOMA-IoT networks: A reinforcement-learning approach," IEEE Trans. Wireless Commun., vol. 20, no. 8, pp. 5083-5098, Aug. 2021.
11. [11] M. Hua, Y. Wang, Z. Zhang, Q. Li, H. Jiang, and Y. Liu, "Deep Reinforcement Learning for Task Offloading and Resource Allocation in 6G-Enabled Network Slicing," IEEE Trans. Veh. Technol., vol. 72, no. 12, pp. 16298-16310, Dec. 2023.
12. [12] D. Ivanova, E. Zhbankova, E. Markova, Y. Gaidamaka, and K. Samouylov, "Performance modeling and comparison of URLLC and eMBB coexistence strategies in 5G new radio systems," Comput. Netw., vol. 255, p. 110904, 2024.