Yılan benzeri robotlarda iki boyutlu iz takibi için pekiştirmeli öğrenmenin uygulanması ve değerlendirilmesi

Abstract

Arka Plan—Yılansı robotlar, arka arkaya bağlanmış çok sayıda eklemden oluşan modüler ve esnek gövde yapıları sayesinde dar, karmaşık ve kısıtlı ortamlarda etkin bir şekilde hareket edebilen biyomimetik sistemlerdir. Bu özellikler, özellikle boru hattı denetimi, arama ve kurtarma operasyonları, endüstriyel bakım uygulamaları ve keşif görevleri gibi alanlarda önemli avantajlar sunmaktadır. Gövde boyunca dağılmış çok sayıda serbestlik derecesi, robotun yüksek manevra kabiliyetine ulaşmasını sağlarken, aynı zamanda kontrol sorununu oldukça karmaşık hale getirmektedir. Segmentler arasındaki dinamik etkileşimler, sürtünmeye dayalı hareket özellikleri ve doğrusal olmayan sistem davranışı nedeniyle, güvenilir ve doğru iz takibi sağlamak önemli bir mühendislik sorunu olarak ortaya çıkmaktadır.

Amaç—Bu çalışmada, iki boyutlu bir düzlemde yılansı robotlar için iz takibi sorununu çözmek amacıyla pekiştirmeli öğrenme (RL) tabanlı bir kontrol yöntemi geliştirilmiştir.

Yöntem—Önerilen yaklaşımda, robotun dinamik modeli açık kaynaklı bir simülasyon programı olan Webots simülasyon ortamında oluşturulmuş ve tüm eğitim ve test süreçleri bu ortamda gerçekleştirilmiştir. Öğrenme süreci boyunca, Stable-Baselines kütüphanesinden politika tabanlı RL algoritmaları kullanılmıştır. Bu bağlamda, eğitim süreci boyunca Yakınsal Politika Optimizasyonu (PPO) ve üç farklı RL algoritması kullanılmıştır. Robotun farklı yönlendirme senaryolarına uyum sağlayabilmesi için +45° ile −45° aralığında tanımlanan yedi farklı açı ve değişen uzunluktaki izler kullanılmıştır. Böylece, ajanın yalnızca belirli bir iz türü için değil, aynı zamanda farklı eğim ve yönlere sahip izler için de genelleştirilebilir bir kontrol politikası öğrenmesi hedeflenmiştir.

Bulgular—Elde edilen sonuçlar, PPO algoritmasının diğer yöntemlere kıyasla daha yüksek bir ortalama ödül sağladığını ve daha istikrarlı bir öğrenme süreci sergilediğini göstermektedir. Eğitim tamamlandıktan sonra, geliştirilen yöntem hem eğitim aşamasında kullanılan izler üzerinde hem de daha önce görülmemiş izler üzerinde test edilmiştir. 0° izde, x ve y eksenleri için sırasıyla 0.093 m ve 0.040 m'lik maksimum hatalar kaydedilmiştir. Ayrıca sistem, eğitim aşamasında karşılaşılmayan +22.5° izde sağlam genelleme yetenekleri sergilemiş ve 0.099 m ile 0.052 m'lik maksimum hatalar vermiştir.

Sonuç—Bu bulgular, önerilen RL tabanlı kontrol yaklaşımının yılan robotlarda iki boyutlu iz takibi problemini etkili bir şekilde çözebildiğini göstermektedir. Gelecekteki çalışmalarda, önerilen yöntem üç boyutlu iz takibi problemine genişletilebilir veya engellerin bulunduğu senaryolar gibi daha karmaşık koşullar altında değerlendirilebilir.

Keywords

• pekiştirmeli öğrenme
• yılansı robot kontrolü
• yılansı robot modelleme
• İz takibi

Application and evaluation of reinforcement learning for two-dimensional trajectory tracking in snake-like robots

Abstract

Context—Snake-like robots are biomimetic systems that can move effectively in narrow, complex, and restricted environments thanks to their modular and flexible body structures composed of numerous serially connected joints. These characteristics offer significant advantages, particularly in areas such as pipeline inspection, search and rescue operations, industrial maintenance applications, and exploration missions. The multiple degrees of freedom distributed along the body enable the robot to achieve high maneuverability but also make the control problem quite complex. Due to the dynamic interactions between segments, friction-based motion characteristics, and nonlinear system behavior, achieving reliable and accurate trajectory tracking emerges as a significant engineering problem.

Objective—In this study, a reinforcement learning (RL) based control method has been developed to solve the trajectory tracking problem for snake-like robots in a two-dimensional plane.

Method—In the proposed approach, the robot’s dynamic model was created in the Webots simulation environment, an open-source simulation program, and all training and testing processes were carried out in this environment. During the learning process, policy- based RL algorithms from the Stable-Baselines library were used. In this context, Proximal Policy Optimization (PPO) and three different RL algorithms were used during the training process. To enable the robot to adapt to different orientation scenarios, seven different angles defined in the range of +45 to −45 and trajectories of varying lengths were used. Thus, the goal was for the agent to learn a generalizable control policy not only for a specific trajectory type but also for tracks with different slopes and orientations.

Results—The results obtained show that the PPO algorithm produced a higher average reward compared to other methods and exhibited a more stable learning process. After training was completed, the developed method was tested both on trajectories used during the training phase and on previously unseen trajectories. For the 0 trajectory, maximum errors were recorded as 0.093 m and 0.040 m for the x and y axes, respectively. Furthermore, the system exhibited robust generalization capabilities on a +22.5 trajectory, not encountered during the training phase, yielding maximum errors of 0.099 m and 0.052 m.

Conclusion—These findings demonstrate that the proposed RL-based control approach can effectively solve the two-dimensional trajectory tracking problem in snake robots. In future studies, the proposed method can be extended to the three-dimensional trajectory tracking problem, or it can be evaluated under more complex conditions, such as scenarios involving obstacles.

Keywords

• Reinforcement learning
• Snake-like robot control
• Snake-like robot modelling
• Trajectory tracking

References

1. T. Takemori, M. Tanaka, F. Matsuno, “Adaptive helical rolling of a snake robot to a straight pipe with irregular cross-sectional shape”, IEEE Transactions on Robotics, 39(1), 437–451, 2023. https://doi.org/10.1109/TRO.2022.3189224.
2. G. Çetin, E. Aksakal, S. Taskın, “Göçük altında kalanların tespiti için biyonik yılan robot tasarımı”, Journal of Materials and Mechatronics: A, 3(1), 63–78, 2022. https://doi.org/10.55546/jmm.1079962.
3. X. Hou, Y. Shi, L. Li, Y. Tian, Y. Su, T. Ding, Z. Deng, “Revealing the mechanical characteristics via kinematic wave model for snake-like robot executing exploration of lunar craters”, IEEE Access, 8, 38368–38379, 2020. https://doi.org/10.1109/ACCESS.2020.2971221.
4. X. Liu, C. D. Onal, J. Fu, “Reinforcement learning of cpg-regulated locomotion controller for a soft snake robot”, IEEE Transactions on Robotics, 39(5), 3382–3401, 2023. https://doi.org/10.1109/TRO.2023.3286046.
5. F. Sheng, F. Wan, C. Tang, X. Guo, “A maneuverable winding gait for snake robots based on a delay-aware swing and grasp framework combining rules and learning methods”, IEEE Robotics and Automation Letters, 10(1), 311–318, 2025. https://doi.org/10.1109/LRA.2024.3506274.
6. Y. Li, C. Wei, Q. Wu, P. Chen, Y. Jiang, Y. Li, “Study of 3 dimension trajectory tracking of underactuated autonomous underwater vehicle”, Ocean Engineering, 105, 270–274, 2015. https://doi.org/10.1016/j.oceaneng.2015.06.034.
7. H. Shi, Y. Meng, W. Cui, M. Rao, S. Wang, Y. Xie, “Biomimetic underwater soft snake robot: Self-motion sensing and online gait control”, IEEE Transactions on Robotics, 41, 1193–1210, 2025. https://doi.org/10.1109/TRO.2025.3530349.
8. Y. Cai, H. Xu, Y. Wang, D. Chen, W. Matusik, W. Shou, Y. Chen, “Modular self-reconfigurable continuum robot for general purpose loco-manipulation”, IEEE Robotics and Automation Letters, 10(2), 1976–1983, 2025. https://doi.org/10.1109/LRA.2025.3526560.

9. Y. Yoshida, C. W. Chin, M. Tanaka, “Traversing between two planes using obstacle-aided locomotion of a snake robot”, IEEE Robotics and Automation Letters, 9(11), 10288–10294, 2024. https://doi.org/10.1109/LRA.2024.3468154.
10. S. Suyama, M. Nakajima, H. Arita, M. Tanaka, “Control of a snake robot with proximity sensors to adapt for two variable planes”, IEEE Access, 12, 46864–46880, 2024. https://doi.org/10.1109/ACCESS.2024.3382205.
11. W. Huang, Y. Fang, X. Guo, H. Liu, L. Liu, “A unified motion modeling approach for snake robot’s gaits generated with backbone curve method”, IEEE Transactions on Robotics, 40, 4132–4146, 2024. https://doi.org/10.1109/TRO.2024.3420803.
12. Y. Xiu, H. Deng, D. Li, R. Law, E. Q. Wu, L. Zhu, “Collision avoidance regulation-compliant orientation guidance and maneuvering control approach for snake robots”, IEEE Transactions on Industrial Electronics, 71(9), 10955–10965, 2024. https://doi.org/10.1109/TIE.2023.3342304.
13. B. A. Elsayed, T. Takemori, M. Tanaka, F. Matsuno, “Mobile manipulation using a snake robot in a helical gait”, IEEE/ASME Transactions on Mechatronics, 27(5), 2600–2611, 2022. https://doi.org/10.1109/TMECH.2021.3114168.
14. W. Huang, X. Guo, H. Liu, Y. Fang, “A robust model-based radius estimation approach for helical climbing motion of snake robots”, IEEE/ASME Transactions on Mechatronics, 28(6), 3284–3293, 2023. https://doi.org/10.1109/TMECH.2023.3256419.
15. Q. Li, W. Zhao, “Design of a modular pipeline robot structure and passing ability analysis”, IEEE Access, 11, 97978–97989, 2023. https://doi.org/10.1109/ACCESS.2023.3312171.
16. Z. Ji, G. Song, F. Wang, Y. Li, A. Song, “Design and control of a snake robot with a gripper for inspection and maintenance in narrow spaces”, IEEE Robotics and Automation Letters, 8(5), 3086–3093, 2023. https://doi.org/10.1109/LRA.2023.3265591.
17. D. Li, B. Zhang, C. Wu, Y. Xu, J. Huang, E. Q. Wu, L. Zhu, “Tracking control of snake robots with butterfly spiral propulsion for multiscenario applications”, IEEE Transactions on Industrial Informatics, 20(12), 13526–13536, 2024. https://doi.org/10.1109/TII.2024.3407866.
18. D. Li, B. Zhang, R. Law, E. Q. Wu, X. Xu, “Error constrained-formation path-following method with disturbance elimination for multisnake robots”, IEEE Transactions on Industrial Electronics, 71(5), 4987–4998, 2024. https://doi.org/10.1109/TIE.2023.3288202.
19. D. Li, Y. Zhang, P. Li, R. Law, Z. Xiang, X. Xu, L. Zhu, E. Q. Wu, “Position errors and interference prediction-based trajectory tracking for snake robots”, IEEE/CAA Journal of Automatica Sinica, 10(9), 1810–1821, 2023. https://doi.org/10.1109/JAS.2023.123612.
20. Y. Xiu, D. Li, H. Deng, S. Jiang, E. Q. Wu, “Path-following based on fuzzy line-of-sight guidance for a bionic snake robot with unknowns”, IEEE/ASME Transactions on Mechatronics, 28(6), 3167–3179, 2023. https://doi.org/10.1109/TMECH.2023.3254817.
21. D. Li, L. Zeng, Y. Xiu, Z. Pan, D. Zhang, H. Deng, “Sideslip elimination and coefficient approximation-based trajectory tracking control for snake robots”, IEEE Transactions on Industrial Informatics, 19(8), 8754–8764, 2023. https://doi.org/10.1109/TII.2022.3220846.
22. Y. Xiu, D. Li, M. Zhang, H. Deng, R. Law, Y. Huang, E. Q. Wu, X. Xu, “Finite-time sideslip differentiator-based los guidance for robust path following of snake robots”, IEEE/-CAA Journal of Automatica Sinica, 10(1), 239–253, 2023. https://doi.org/10.1109/JAS.2022.106052.
23. D. Li, J. Zhou, Y. Huang, D. Zhang, P. Li, A. Song, “Integral line of sight guidance scheme-based tracking method for snake robots”, IEEE Transactions on Automation Science and Engineering, 22, 4537–4547, 2023. https://doi.org/10.1109/TASE.2023.3327958.
24. D. Li, Z. Pan, H. Deng, L. Hu, “Adaptive path following controller of a multijoint snake robot based on the improved serpenoid curve”, IEEE Transactions on Industrial Electronics, 69(4), 3831–3842, 2022. https://doi.org/10.1109/TIE.2021.3075851.
25. Z. Cao, D. Zhang, M. Zhou, “Direction control and adaptive path following of 3-d snake-like robot motion”, IEEE Transactions on Cybernetics, 52(10), 10980–10987, 2022. https://doi.org/10.1109/TCYB.2021.3055519.
26. D. Li, Y. Zhang, W. Tong, P. Li, R. Law, X. Xu, L. Zhu, E. Q. Wu, “Anti-disturbance path-following control for snake robots with spiral motion”, IEEE Transactions on Industrial Informatics, 19(12), 11929–11940, 2023. https://doi.org/10.1109/TII.2023.3254534.
27. Z. Bing, C. Lemke, F. O. Morin, Z. Jiang, L. Cheng, K. Huang, A. Knoll, “Perception-action coupling target tracking control for a snake robot via reinforcement learning”, Frontiers in Neurorobotics, 14, 591128, 2020. https://doi.org/10.3389/fnbot.2020.591128.
28. Y. A. Baysal, I. H. Altas, “Deep reinforcement learning-based control of snake robot joints”, Arabian Journal for Science and Engineering, 51(8), 10937-10962, 2026. https://doi.org/10.1007/s13369-025-10600-4.
29. Y. A. Baysal, “Learning-based adaptive motion control of a snake robot”, Ph.D. dissertation, Karadeniz Technical University, Trabzon, Türkiye, 2022.
30. C. J. Watkins, P. Dayan, “Q-learning”, Machine learning, 8(3-4), 279–292, 1992. https://doi.org/10.1023/A:1022676722315.
31. J. Schulman, F. Wolski, P. Dhariwal, A. Radford, O. Klimov, “Proximal policy optimization algorithms”, arXiv, 2017. https://doi.org/10.48550/arXiv.1707.06347.