Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi

Öz

Oyun ve robotik endüstrilerinde, akıllı ve etkileşimli karakterlerin tasarımı, yapay zekadaki ilerlemelerle büyük ölçüde zenginleştirilmiştir. Yapay-zeka tabanlı bu yaklaşımlara, özellikle, geleneksel algoritmaların önceden programlanmış kural-tabanlı olması nedeniyle ihtiyaç duyulmaktadır. Makine öğrenmesi ile oyun karakterleri karmaşık oyunlarda bile özgün ve bağımsız davranışlara sahip olacak şekilde eğitilmektedir. Bu çalışma, henüz yeterince üzerinde çalışılmamış olan tenis oyununda pekiştirmeli öğrenme kullanarak zeki oyuncuların (ajanların) başarılı bir şekilde eğitilebileceğini göstermektedir. Eğitim aşamasında ajanlara temel tenis kuralları ve sonuç (kazanma/kaybetme) hakkında bilgi verilmektedir. Ayrıca, oyun içindeki performanslarına göre ajanlar ödül ya da ceza da almaktadır. Buna göre, ajanlar kendi bulundukları duruma göre en iyi davranışı bulmaya çalışır. Ajanlar, Unity'de uygulanan görsel, fiziksel ve bilişsel olarak zengin bir çevrede eğitilmektedir. Sunulan çalışmanın deneysel değerlendirmesi, genel olarak modelin etkililiğini ve başarısını göstermektedir. Gerçekleştirilen uygulama açık-kaynaktır ve uygulamaya şu adresten erişilebilir: https://bakhtiyar-ospanov.github.io/MLAT/index.html

Anahtar Kelimeler

• Pekiştirmeli Öğrenme
• Tenis Oyunu Simülasyonu
• Makine Öğrenmesi
• Sinir Ağları

Implementation of Tennis Game Simulation with Reinforcement Learning

Öz

Oyun ve robotik endüstrilerinde, akıllı ve etkileşimli karakterlerin tasarımı, yapay zekadaki ilerlemelerle büyük ölçüde zenginleştirilmiştir. Yapay-zeka tabanlı bu yaklaşımlara, özellikle, geleneksel algoritmaların önceden programlanmış kural-tabanlı olması nedeniyle ihtiyaç duyulmaktadır. Makine öğrenmesi ile oyun karakterleri karmaşık oyunlarda bile özgün ve bağımsız davranışlara sahip olacak şekilde eğitilmektedir. Bu çalışma, henüz yeterince üzerinde çalışılmamış olan tenis oyununda pekiştirmeli öğrenme kullanarak zeki oyuncuların (ajanların) başarılı bir şekilde eğitilebileceğini göstermektedir. Eğitim aşamasında ajanlara temel tenis kuralları ve sonuç (kazanma/kaybetme) hakkında bilgi verilmektedir. Ayrıca, oyun içindeki performanslarına göre ajanlar ödül ya da ceza da almaktadır. Buna göre, ajanlar kendi bulundukları duruma göre en iyi davranışı bulmaya çalışır. Ajanlar, Unity'de uygulanan görsel, fiziksel ve bilişsel olarak zengin bir çevrede eğitilmektedir. Sunulan çalışmanın deneysel değerlendirmesi, genel olarak modelin etkililiğini ve başarısını göstermektedir. Gerçekleştirilen uygulama açık-kaynaktır ve uygulamaya şu adresten erişilebilir: https://bakhtiyar-ospanov.github.io/MLAT/index.html

Anahtar Kelimeler

• Pekiştirmeli Öğrenme
• Tenis Oyunu Simülasyonu
• Makine Öğrenmesi
• Sinir Ağları

Kaynakça

1. Akkaya I, Andrychowicz M, Chociej M, Litwin M, McGrew B, Petron A, Paino A, Plappert M, Powell G, Ribas R. (2019). Solving rubik’s cube with a robot hand. arXiv preprint arXiv:1910.07113, 10. https://arxiv.org/abs/1910.07113
2. Albers P, de Vries D. (2001). Elo-rating as a tool in the sequential estimation of dominance strengths. Animal Behaviour, pages 489–495. https://palbers.home.xs4all.nl/AlbersDeVries.pdf
3. Alzubi J, Nayyar A, Kumar A. (2018). Machine learning from theory to algorithms: an overview. In Journal of physics: conference series, volume 1142, page 012012. IOP Publishing. https://iopscience.iop.org/article/10.1088/1742-6596/1142/1/012012/meta
4. Ayodele T. (2010). Types of machine learning algorithms. New advances in machine learning, 3:19–48. https://www.intechopen.com/chapters/10694
5. Burda, Y., Edwards, H., Storkey, A., Klimov, O. (2018). Exploration by random network distillation. arXiv preprint arXiv:1810.12894. https://openreview.net/forum?id=H1lJJnR5Ym
6. Cao Z, Wong K, Bai Q, Lin C. (2020). Hierarchical and non-hierarchical multi-agent interactions based on unity reinforcement learning. Proceedings of the International Joint Conference on Autonomous Agents and Multiagent Systems, pp. 2095-2097. https://www.ifaamas.org/Proceedings/aamas2020/pdfs/p2095.pdf
7. Gao W, Graesser L, Choromanski K, Song X, Lazic N, Sanketi P, Sindhwani V, Jaitly N. (2020). Robotic Table Tennis with Model-Free Reinforcement Learning. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, NV, USA, pp. 5556-5563, doi: 10.1109/IROS45743.2020.9341191. https://arxiv.org/abs/2003.14398
8. Ho J, Ermon S. (2016). Generative adversarial imitation learning. arXiv preprint arXiv:1606.03476. https://arxiv.org/abs/1606.03476 Jaderberg M, Czarnecki W, Dunning I, Marris L, Lever G, Castaneda A, Beattie C, Rabinowitz N, Morcos A,

9. Ruderman A. (2019). Human-level performance in 3d multiplayer games with population-based reinforcement learning. Science, 364(6443):859–865. https://www.science.org/doi/10.1126/science.aau6249
10. Lample G, Chaplot D. (2017). Playing fps games with deep reinforcement learning. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 31. https://dl.acm.org/doi/10.5555/3298483.3298548
11. Millington I, Funge J. (2009). Artificial intelligence for games. CRC Press. https://spada.uns.ac.id/pluginfile.php/629724/mod_resource/content/1/gameng_AIFG.pdf
12. Muelling K, Boularias A, Mohler B, Schölkopf B, Peters J. (2014). Learning strategies in table tennis using inverse reinforcement learning. Biol Cybern 108(5):603–619. https://link.springer.com/article/10.1007/s00422-014-0599-1
13. Silver D, Hubert T, Schrittwieser J, Antonoglou I, Lai M, Guez A, Lanctot M, Sifre L, Kumaran D, Graepel T. (2018). A general reinforcement learning algorithm that masters chess, shogi, and go through self-play. Science, 362(6419):1140–1144. https://www.science.org/doi/10.1126/science.aar6404 Ospanov, Demirci JTOM(7)2, 1724-1735, 2023 1735
14. Pathak D, Agrawal P, Efros A, Darrell T. (2017). Curiosity driven exploration by self-supervised prediction. In International Conference on Machine Learning, pages 2778–2787. PMLR. https://proceedings.mlr.press/v70/pathak17a/pathak17a.pdf
15. Tebbe J, Krauch L, Gao Y, Zell A. (2021). Sample-efficient Reinforcement Learning in Robotic Table Tennis. IEEE International Conference on Robotics and Automation (ICRA 2021), May 31 - June 4. https://arxiv.org/abs/2011.03275
16. Torabi F, Warnell G, Stone P. (2018). Behavioral cloning from observation. arXiv preprint arXiv:1805.01954. https://arxiv.org/abs/1805.01954
17. Torrado R, Bontrager P, Togelius J, Liu J, Perez-Liebana D. (2018). Deep reinforcement learning for general video game ai. IEEE Conference on Computational Intelligence and Games (CIG), 1–8. IEEE. https://arxiv.org/abs/1806.02448
18. Wang X, Liu C., Sun L. (2022). Lightweight Deep Learning Models for Resource Constrained Devices. Computational Intelligence and Neuroscience, vol. 2022, Article ID 4623561, 10 pages. https://www.hindawi.com/journals/cin/si/635175/
19. Weeraman A. (2023). Erişim adresi: https://github.com/aweeraman/reinforcement-learning-tennis. Son erişim: Mayıs 2023.
20. Yurtsever, A., Dengiz, B. , Çakır, B. & Karaoğlan, İ. (2022). Dağıtık üretim içeren dağıtım şebekesi genişleme problemi için yeni bir matematiksel model. Journal of Turkish Operations Management , 6 (1) , 1134-1152. https://dergipark.org.tr/tr/pub/jtom/issue/70951/1106004