DDPG-Enhanced Integration of the BLUE Algorithm for Adaptive Active Queue Management and Congestion Control

Abstract

Active Queue Management (AQM) mechanisms are also used in TCP/IP networks to alleviate congestion, decrease queueing delay, and increase throughput. In related work, the BLUE Algorithm (Adaptive) is an AQM that controls congestion by adjusting the likelihood of dropping packets in response to network events. However, the performance of these solutions is heavily dependent on a set of fixed configuration parameters, resulting in limited adaptation to dynamic network conditions. To address this limitation, a Deep Reinforcement Learning-enhanced version of it, called BLUE (DRL-BLUE), is proposed in this paper, using the methodology of Deep Deterministic Policy Gradient (DDPG). Unlike traditional methods, which fix parameter values at the beginning of the process, this contribution proposes a flexible approach for queue estimation and congestion responsiveness, enabling dynamic adjustments to the parameter wq (queue weight). Instead, the DDPG agent continues to learn adaptive control by interactively exploring the network environment over time, enabling the BLUE algorithm to configure itself to different traffic scenarios without any explicit traffic models. Our proposed framework is tested under low- and high-density network scenarios and compared with the classical BLUE algorithm in terms of throughput, delay, and packet loss ratio (PLR). Experimental results show that the proposed DRL-BLUE approach improves network performance in most evaluated scenarios. Figure 10 shows the throughput, packet loss ratio, and delay in a high-density scenario with 10 active senders; high density is defined as having more than 5 active senders competing to receive packets. The overall results show that the adaptive tuning queue weight parameter with DDPG enhances congestion control performance through higher throughput, lower packet losses, even in obstructed transmission attempts, and keeps low queueing delays when faced with changing data from network usages.

Keywords

• Congestion Control
• Active Queue Management
• BLUE Algorithm
• Deep Reinforcement Learning

Uyarlanabilir Aktif Kuyruk Yönetimi ve Tıkanıklık Kontrolü için BLUE Algoritmasının DDPG ile Geliştirilmiş Entegrasyonu

Abstract

Aktif Kuyruk Yönetimi (AQM) mekanizmaları, TCP/IP ağlarında tıkanıklığı hafifletmek, kuyruk gecikmesini azaltmak ve verimliliği artırmak için de kullanılır. İlgili çalışmalarda, BLUE Algoritması (Uyarlanabilir), ağ olaylarına yanıt olarak paket düşürme olasılığını ayarlayarak tıkanıklığı kontrol eden bir AQM'dir. Bununla birlikte, bu çözümlerin performansı, sabit bir dizi yapılandırma parametresine büyük ölçüde bağlıdır ve bu da dinamik ağ koşullarına sınırlı uyum sağlamalarına neden olur. Bu sınırlamayı gidermek için, bu makalede Derin Deterministik Politika Gradyanı (DDPG) metodolojisi kullanılarak, BLUE (DRL-BLUE) adı verilen, Derin Pekiştirmeli Öğrenme ile geliştirilmiş bir sürümü önerilmiştir. Sürecin başında parametre değerlerini sabitleyen geleneksel yöntemlerin aksine, bu çalışma, kuyruk tahmini ve tıkanıklık yanıtı için esnek bir yaklaşım önererek, wq (kuyruk ağırlığı) parametresine dinamik ayarlamalar yapılmasını sağlar. Bunun yerine, DDPG ajanı, zaman içinde ağ ortamını etkileşimli olarak keşfederek uyarlanabilir kontrolü öğrenmeye devam eder ve bu da BLUE algoritmasının herhangi bir açık trafik modeli olmadan farklı trafik senaryolarına kendini yapılandırmasını sağlar. Önerilen çerçevemiz, düşük ve yüksek yoğunluklu ağ senaryolarında test edilmiş ve verimlilik, gecikme ve paket kaybı oranı (PLR) açısından klasik BLUE algoritmasıyla karşılaştırılmıştır. Deneysel sonuçlar, önerilen DRL-BLUE yaklaşımının değerlendirilen senaryoların çoğunda ağ performansını iyileştirdiğini göstermektedir. Şekil 10, 10 aktif göndericiye sahip yüksek yoğunluklu bir senaryoda verimliliği, paket kaybı oranını ve gecikmeyi göstermektedir; yüksek yoğunluk, paket almak için rekabet eden 5'ten fazla aktif göndericiye sahip olmak olarak tanımlanır. Genel sonuçlar, DDPG ile uyarlanabilir ayarlama kuyruk ağırlığı parametresinin, engellenmiş iletim girişimlerinde bile daha yüksek verimlilik, daha düşük paket kayıpları yoluyla tıkanıklık kontrol performansını artırdığını ve ağ kullanımından gelen değişen verilerle karşı karşıya kalındığında düşük kuyruk gecikmelerini koruduğunu göstermektedir.

Keywords

• Tıkanıklık Kontrolü
• Aktif Kuyruk Yönetimi
• BLUE Algoritması
• Derin Güçlendirme Öğrenmesi.

References

1. [1] S. Floyd and V. Jacobson, “Random Early Detection Gateways for Congestion Avoidance,” IEEE/ACM Transactions on Networking, vol. 1, no. 4, pp. 397–413, Aug. 1993.
2. [2] V. Jacobson, “Congestion Avoidance and Control,” in Proceedings of ACM SIGCOMM, Stanford, CA, USA, 1988, pp. 314–329.
3. [3] W.-C. Feng, K. G. Shin, D. D. Kandlur, and D. Saha, “The BLUE Active Queue Management Algorithms,” IEEE/ACM Transactions on Networking, vol. 10, no. 4, pp. 513–528, Aug. 2002.
4. [4] R. Pan, P. Natarajan, C. Piglione, M. S. Prabhu, V. Subramanian, F. Baker, and B. VerSteeg, “PIE: A Lightweight Control Scheme to Address the Bufferbloat Problem,” in Proceedings of IEEE HPSR, 2013, pp. 148–155.
5. [5] K. Nichols and V. Jacobson, “Controlling Queue Delay,” Communications of the ACM, vol. 55, no. 7, pp. 42–50, Jul. 2012.
6. [6] T. P. Lillicrap, J. J. Hunt, A. Pritzel, N. Heess, T. Erez, Y. Tassa, D. Silver, and D. Wierstra, “Continuous Control with Deep Reinforcement Learning,” arXiv:1509.02971, 2015.
7. [7] R. S. Sutton and A. G. Barto, Reinforcement Learning: An Introduction, 2nd ed. Cambridge, MA, USA: MIT Press, 2018.
8. [8] V. Mnih et al., “Human-Level Control Through Deep Reinforcement Learning,” Nature, vol. 518, no. 7540, pp. 529–533, 2015.

9. [9] J. Schulman, F. Wolski, P. Dhariwal, A. Radford, and O. Klimov, “Proximal Policy Optimization Algorithms,” arXiv:1707.06347, 2017.
10. [10] D. Silver, G. Lever, N. Heess, T. Degris, D. Wierstra, and M. Riedmiller, “Deterministic Policy Gradient Algorithms,” in Proceedings of the 31st International Conference on Machine Learning (ICML), Beijing, China, 2014, pp. 387–395.
11. [11] S. Sharma, D. Jindal, and R. Agarwal, “Analysing mobile random early detection for congestion control in mobile ad-hoc network,” Int. J. Electr. Comput. Eng., vol. 8, no. 3, p. 1305, 2018.
12. [12] H. Fawaz, D. Zeghlache, T. A. Q. Pham, J. Leguay, and P. Medagliani, “Deep reinforcement learning for smart queue management,” Electron. Commun. EASST, vol. 80, 2021.
13. [13] Q. Liu, L. Cheng, A. L. Jia, and C. Liu, “Deep reinforcement learning for communication flow control in wireless mesh networks,” IEEE Network, vol. 35, no. 2, pp. 112–119, 2021.
14. [14] R. Hotchi, H. Chibana, T. Iwai, and R. Kubo, “Active queue management supporting TCP flows using disturbance observer and smith predictor,” IEEE Access, vol. 8, pp. 173401–173413, 2020.
15. [15] A. F. Al-Allaf and A. A. Jabbar, “RED with reconfigurable maximum dropping probability,” Int. J. Comput. Digit. Syst., vol. 8, no. 1, pp. 61–72, 2019.
16. [16] M. Kim, M. Jaseemuddin, and A. Anpalagan, “Deep reinforcement learning based active queue management for IoT networks,” J. Netw. Syst. Manage., vol. 29, no. 3, p. 34, 2021.
17. [17] M. Bachl, J. Fabini, and T. Zseby, “LFQ: Online learning of per-flow queuing policies using deep reinforcement learning,” in Proc. IEEE 45th Conf. Local Computer Networks (LCN), 2020, pp. 417–420.
18. [18] M. M. Roselló, “Multi-path scheduling with deep reinforcement learning,” in Proc. Eur. Conf. Networks and Communications (EuCNC), 2019, pp. 400–405.
19. [19] B. Liao, G. Zhang, Z. Diao, and G. Xie, “Precise and adaptable: Leveraging deep reinforcement learning for GAP-based multipath scheduler,” in Proc. IFIP Networking Conf., 2020, pp. 154–162.
20. [20] J. Koo, V. B. Mendiratta, M. R. Rahman, and A. Walid, “Deep reinforcement learning for network slicing with heterogeneous resource requirements and time varying traffic dynamics,” in Proc. Int. Conf. Network and Service Management (CNSM), 2019, pp. 1–5.
21. [21] A. A. Ismael and D. K. Türeli, “Study of a Smarter AQM Algorithm to Reduce Network Delay,” 2022.
22. [22] A. B. Yousif, H. J. Hassan, and G. Muttasher, “Applying reinforcement learning for random early detection algorithm in adaptive queue management systems,” Indonesian J. Electr. Eng. Comput. Sci., vol. 26, no. 3, pp. 1684–1691, 2022.
23. [23] A. B. Yousif, H. J. Hassan, and G. Muttasher, “Intelligent Parameter Tuning using Deep Q-network in Adaptive Queue Management Systems,” Iraqi J. Comput., Commun., Control Syst. Eng., vol. 22, no. 3, 2022.
24. [24] K. Chhabra, M. Kshirsagar, and A. Zadgaonkar, “An improved RED algorithm with input sensitivity,” in Proc. CSI 2015, Cyber Security, 2018, pp. 35–45.
25. [25] Z. M. Patel, “Queue occupancy estimation technique for adaptive threshold-based RED,” in Proc. IEEE Int. Conf. Circuits and Systems (ICCS), 2017, pp. 437–440.