Araştırma Makalesi
BibTex RIS Kaynak Göster

Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi

Yıl 2023, , 1724 - 1735, 29.12.2023
https://doi.org/10.56554/jtom.1273051

Öz

Oyun ve robotik endüstrilerinde, akıllı ve etkileşimli karakterlerin tasarımı, yapay zekadaki ilerlemelerle büyük ölçüde zenginleştirilmiştir. Yapay-zeka tabanlı bu yaklaşımlara, özellikle, geleneksel algoritmaların önceden programlanmış kural-tabanlı olması nedeniyle ihtiyaç duyulmaktadır. Makine öğrenmesi ile oyun karakterleri karmaşık oyunlarda bile özgün ve bağımsız davranışlara sahip olacak şekilde eğitilmektedir. Bu çalışma, henüz yeterince üzerinde çalışılmamış olan tenis oyununda pekiştirmeli öğrenme kullanarak zeki oyuncuların (ajanların) başarılı bir şekilde eğitilebileceğini göstermektedir. Eğitim aşamasında ajanlara temel tenis kuralları ve sonuç (kazanma/kaybetme) hakkında bilgi verilmektedir. Ayrıca, oyun içindeki performanslarına göre ajanlar ödül ya da ceza da almaktadır. Buna göre, ajanlar kendi bulundukları duruma göre en iyi davranışı bulmaya çalışır. Ajanlar, Unity'de uygulanan görsel, fiziksel ve bilişsel olarak zengin bir çevrede eğitilmektedir. Sunulan çalışmanın deneysel değerlendirmesi, genel olarak modelin etkililiğini ve başarısını göstermektedir. Gerçekleştirilen uygulama açık-kaynaktır ve uygulamaya şu adresten erişilebilir: https://bakhtiyar-ospanov.github.io/MLAT/index.html

Kaynakça

  • Akkaya I, Andrychowicz M, Chociej M, Litwin M, McGrew B, Petron A, Paino A, Plappert M, Powell G, Ribas R. (2019). Solving rubik’s cube with a robot hand. arXiv preprint arXiv:1910.07113, 10. https://arxiv.org/abs/1910.07113
  • Albers P, de Vries D. (2001). Elo-rating as a tool in the sequential estimation of dominance strengths. Animal Behaviour, pages 489–495. https://palbers.home.xs4all.nl/AlbersDeVries.pdf
  • Alzubi J, Nayyar A, Kumar A. (2018). Machine learning from theory to algorithms: an overview. In Journal of physics: conference series, volume 1142, page 012012. IOP Publishing. https://iopscience.iop.org/article/10.1088/1742-6596/1142/1/012012/meta
  • Ayodele T. (2010). Types of machine learning algorithms. New advances in machine learning, 3:19–48. https://www.intechopen.com/chapters/10694
  • Burda, Y., Edwards, H., Storkey, A., Klimov, O. (2018). Exploration by random network distillation. arXiv preprint arXiv:1810.12894. https://openreview.net/forum?id=H1lJJnR5Ym
  • Cao Z, Wong K, Bai Q, Lin C. (2020). Hierarchical and non-hierarchical multi-agent interactions based on unity reinforcement learning. Proceedings of the International Joint Conference on Autonomous Agents and Multiagent Systems, pp. 2095-2097. https://www.ifaamas.org/Proceedings/aamas2020/pdfs/p2095.pdf
  • Gao W, Graesser L, Choromanski K, Song X, Lazic N, Sanketi P, Sindhwani V, Jaitly N. (2020). Robotic Table Tennis with Model-Free Reinforcement Learning. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, NV, USA, pp. 5556-5563, doi: 10.1109/IROS45743.2020.9341191. https://arxiv.org/abs/2003.14398
  • Ho J, Ermon S. (2016). Generative adversarial imitation learning. arXiv preprint arXiv:1606.03476. https://arxiv.org/abs/1606.03476 Jaderberg M, Czarnecki W, Dunning I, Marris L, Lever G, Castaneda A, Beattie C, Rabinowitz N, Morcos A,
  • Ruderman A. (2019). Human-level performance in 3d multiplayer games with population-based reinforcement learning. Science, 364(6443):859–865. https://www.science.org/doi/10.1126/science.aau6249
  • Lample G, Chaplot D. (2017). Playing fps games with deep reinforcement learning. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 31. https://dl.acm.org/doi/10.5555/3298483.3298548
  • Millington I, Funge J. (2009). Artificial intelligence for games. CRC Press. https://spada.uns.ac.id/pluginfile.php/629724/mod_resource/content/1/gameng_AIFG.pdf
  • Muelling K, Boularias A, Mohler B, Schölkopf B, Peters J. (2014). Learning strategies in table tennis using inverse reinforcement learning. Biol Cybern 108(5):603–619. https://link.springer.com/article/10.1007/s00422-014-0599-1
  • Silver D, Hubert T, Schrittwieser J, Antonoglou I, Lai M, Guez A, Lanctot M, Sifre L, Kumaran D, Graepel T. (2018). A general reinforcement learning algorithm that masters chess, shogi, and go through self-play. Science, 362(6419):1140–1144. https://www.science.org/doi/10.1126/science.aar6404 Ospanov, Demirci JTOM(7)2, 1724-1735, 2023 1735
  • Pathak D, Agrawal P, Efros A, Darrell T. (2017). Curiosity driven exploration by self-supervised prediction. In International Conference on Machine Learning, pages 2778–2787. PMLR. https://proceedings.mlr.press/v70/pathak17a/pathak17a.pdf
  • Tebbe J, Krauch L, Gao Y, Zell A. (2021). Sample-efficient Reinforcement Learning in Robotic Table Tennis. IEEE International Conference on Robotics and Automation (ICRA 2021), May 31 - June 4. https://arxiv.org/abs/2011.03275
  • Torabi F, Warnell G, Stone P. (2018). Behavioral cloning from observation. arXiv preprint arXiv:1805.01954. https://arxiv.org/abs/1805.01954
  • Torrado R, Bontrager P, Togelius J, Liu J, Perez-Liebana D. (2018). Deep reinforcement learning for general video game ai. IEEE Conference on Computational Intelligence and Games (CIG), 1–8. IEEE. https://arxiv.org/abs/1806.02448
  • Wang X, Liu C., Sun L. (2022). Lightweight Deep Learning Models for Resource Constrained Devices. Computational Intelligence and Neuroscience, vol. 2022, Article ID 4623561, 10 pages. https://www.hindawi.com/journals/cin/si/635175/
  • Weeraman A. (2023). Erişim adresi: https://github.com/aweeraman/reinforcement-learning-tennis. Son erişim: Mayıs 2023.
  • Yurtsever, A., Dengiz, B. , Çakır, B. & Karaoğlan, İ. (2022). Dağıtık üretim içeren dağıtım şebekesi genişleme problemi için yeni bir matematiksel model. Journal of Turkish Operations Management , 6 (1) , 1134-1152. https://dergipark.org.tr/tr/pub/jtom/issue/70951/1106004

Implementation of Tennis Game Simulation with Reinforcement Learning

Yıl 2023, , 1724 - 1735, 29.12.2023
https://doi.org/10.56554/jtom.1273051

Öz

Oyun ve robotik endüstrilerinde, akıllı ve etkileşimli karakterlerin tasarımı, yapay zekadaki ilerlemelerle büyük ölçüde zenginleştirilmiştir. Yapay-zeka tabanlı bu yaklaşımlara, özellikle, geleneksel algoritmaların önceden programlanmış kural-tabanlı olması nedeniyle ihtiyaç duyulmaktadır. Makine öğrenmesi ile oyun karakterleri karmaşık oyunlarda bile özgün ve bağımsız davranışlara sahip olacak şekilde eğitilmektedir. Bu çalışma, henüz yeterince üzerinde çalışılmamış olan tenis oyununda pekiştirmeli öğrenme kullanarak zeki oyuncuların (ajanların) başarılı bir şekilde eğitilebileceğini göstermektedir. Eğitim aşamasında ajanlara temel tenis kuralları ve sonuç (kazanma/kaybetme) hakkında bilgi verilmektedir. Ayrıca, oyun içindeki performanslarına göre ajanlar ödül ya da ceza da almaktadır. Buna göre, ajanlar kendi bulundukları duruma göre en iyi davranışı bulmaya çalışır. Ajanlar, Unity'de uygulanan görsel, fiziksel ve bilişsel olarak zengin bir çevrede eğitilmektedir. Sunulan çalışmanın deneysel değerlendirmesi, genel olarak modelin etkililiğini ve başarısını göstermektedir. Gerçekleştirilen uygulama açık-kaynaktır ve uygulamaya şu adresten erişilebilir: https://bakhtiyar-ospanov.github.io/MLAT/index.html

Kaynakça

  • Akkaya I, Andrychowicz M, Chociej M, Litwin M, McGrew B, Petron A, Paino A, Plappert M, Powell G, Ribas R. (2019). Solving rubik’s cube with a robot hand. arXiv preprint arXiv:1910.07113, 10. https://arxiv.org/abs/1910.07113
  • Albers P, de Vries D. (2001). Elo-rating as a tool in the sequential estimation of dominance strengths. Animal Behaviour, pages 489–495. https://palbers.home.xs4all.nl/AlbersDeVries.pdf
  • Alzubi J, Nayyar A, Kumar A. (2018). Machine learning from theory to algorithms: an overview. In Journal of physics: conference series, volume 1142, page 012012. IOP Publishing. https://iopscience.iop.org/article/10.1088/1742-6596/1142/1/012012/meta
  • Ayodele T. (2010). Types of machine learning algorithms. New advances in machine learning, 3:19–48. https://www.intechopen.com/chapters/10694
  • Burda, Y., Edwards, H., Storkey, A., Klimov, O. (2018). Exploration by random network distillation. arXiv preprint arXiv:1810.12894. https://openreview.net/forum?id=H1lJJnR5Ym
  • Cao Z, Wong K, Bai Q, Lin C. (2020). Hierarchical and non-hierarchical multi-agent interactions based on unity reinforcement learning. Proceedings of the International Joint Conference on Autonomous Agents and Multiagent Systems, pp. 2095-2097. https://www.ifaamas.org/Proceedings/aamas2020/pdfs/p2095.pdf
  • Gao W, Graesser L, Choromanski K, Song X, Lazic N, Sanketi P, Sindhwani V, Jaitly N. (2020). Robotic Table Tennis with Model-Free Reinforcement Learning. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, NV, USA, pp. 5556-5563, doi: 10.1109/IROS45743.2020.9341191. https://arxiv.org/abs/2003.14398
  • Ho J, Ermon S. (2016). Generative adversarial imitation learning. arXiv preprint arXiv:1606.03476. https://arxiv.org/abs/1606.03476 Jaderberg M, Czarnecki W, Dunning I, Marris L, Lever G, Castaneda A, Beattie C, Rabinowitz N, Morcos A,
  • Ruderman A. (2019). Human-level performance in 3d multiplayer games with population-based reinforcement learning. Science, 364(6443):859–865. https://www.science.org/doi/10.1126/science.aau6249
  • Lample G, Chaplot D. (2017). Playing fps games with deep reinforcement learning. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 31. https://dl.acm.org/doi/10.5555/3298483.3298548
  • Millington I, Funge J. (2009). Artificial intelligence for games. CRC Press. https://spada.uns.ac.id/pluginfile.php/629724/mod_resource/content/1/gameng_AIFG.pdf
  • Muelling K, Boularias A, Mohler B, Schölkopf B, Peters J. (2014). Learning strategies in table tennis using inverse reinforcement learning. Biol Cybern 108(5):603–619. https://link.springer.com/article/10.1007/s00422-014-0599-1
  • Silver D, Hubert T, Schrittwieser J, Antonoglou I, Lai M, Guez A, Lanctot M, Sifre L, Kumaran D, Graepel T. (2018). A general reinforcement learning algorithm that masters chess, shogi, and go through self-play. Science, 362(6419):1140–1144. https://www.science.org/doi/10.1126/science.aar6404 Ospanov, Demirci JTOM(7)2, 1724-1735, 2023 1735
  • Pathak D, Agrawal P, Efros A, Darrell T. (2017). Curiosity driven exploration by self-supervised prediction. In International Conference on Machine Learning, pages 2778–2787. PMLR. https://proceedings.mlr.press/v70/pathak17a/pathak17a.pdf
  • Tebbe J, Krauch L, Gao Y, Zell A. (2021). Sample-efficient Reinforcement Learning in Robotic Table Tennis. IEEE International Conference on Robotics and Automation (ICRA 2021), May 31 - June 4. https://arxiv.org/abs/2011.03275
  • Torabi F, Warnell G, Stone P. (2018). Behavioral cloning from observation. arXiv preprint arXiv:1805.01954. https://arxiv.org/abs/1805.01954
  • Torrado R, Bontrager P, Togelius J, Liu J, Perez-Liebana D. (2018). Deep reinforcement learning for general video game ai. IEEE Conference on Computational Intelligence and Games (CIG), 1–8. IEEE. https://arxiv.org/abs/1806.02448
  • Wang X, Liu C., Sun L. (2022). Lightweight Deep Learning Models for Resource Constrained Devices. Computational Intelligence and Neuroscience, vol. 2022, Article ID 4623561, 10 pages. https://www.hindawi.com/journals/cin/si/635175/
  • Weeraman A. (2023). Erişim adresi: https://github.com/aweeraman/reinforcement-learning-tennis. Son erişim: Mayıs 2023.
  • Yurtsever, A., Dengiz, B. , Çakır, B. & Karaoğlan, İ. (2022). Dağıtık üretim içeren dağıtım şebekesi genişleme problemi için yeni bir matematiksel model. Journal of Turkish Operations Management , 6 (1) , 1134-1152. https://dergipark.org.tr/tr/pub/jtom/issue/70951/1106004
Toplam 20 adet kaynakça vardır.

Ayrıntılar

Birincil Dil Türkçe
Konular Mühendislik
Bölüm Araştırma Makalesi
Yazarlar

Bakhtiyar Ospanov 0000-0003-4490-4709

M. Fatih Demirci 0000-0003-1552-0087

Yayımlanma Tarihi 29 Aralık 2023
Gönderilme Tarihi 30 Mart 2023
Kabul Tarihi 27 Haziran 2023
Yayımlandığı Sayı Yıl 2023

Kaynak Göster

APA Ospanov, B., & Demirci, M. F. (2023). Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi. Journal of Turkish Operations Management, 7(2), 1724-1735. https://doi.org/10.56554/jtom.1273051
AMA Ospanov B, Demirci MF. Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi. JTOM. Aralık 2023;7(2):1724-1735. doi:10.56554/jtom.1273051
Chicago Ospanov, Bakhtiyar, ve M. Fatih Demirci. “Pekiştirmeli Öğrenme Ile Tenis Oyunu Simülasyonu Gerçekleştirimi”. Journal of Turkish Operations Management 7, sy. 2 (Aralık 2023): 1724-35. https://doi.org/10.56554/jtom.1273051.
EndNote Ospanov B, Demirci MF (01 Aralık 2023) Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi. Journal of Turkish Operations Management 7 2 1724–1735.
IEEE B. Ospanov ve M. F. Demirci, “Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi”, JTOM, c. 7, sy. 2, ss. 1724–1735, 2023, doi: 10.56554/jtom.1273051.
ISNAD Ospanov, Bakhtiyar - Demirci, M. Fatih. “Pekiştirmeli Öğrenme Ile Tenis Oyunu Simülasyonu Gerçekleştirimi”. Journal of Turkish Operations Management 7/2 (Aralık 2023), 1724-1735. https://doi.org/10.56554/jtom.1273051.
JAMA Ospanov B, Demirci MF. Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi. JTOM. 2023;7:1724–1735.
MLA Ospanov, Bakhtiyar ve M. Fatih Demirci. “Pekiştirmeli Öğrenme Ile Tenis Oyunu Simülasyonu Gerçekleştirimi”. Journal of Turkish Operations Management, c. 7, sy. 2, 2023, ss. 1724-35, doi:10.56554/jtom.1273051.
Vancouver Ospanov B, Demirci MF. Pekiştirmeli Öğrenme ile Tenis Oyunu Simülasyonu Gerçekleştirimi. JTOM. 2023;7(2):1724-35.

2229319697  logo   logo-minik.png 200311739617396