Automated Game Mechanics and Aesthetics Generation Using Neural Style Transfer in 2D Video Games

Year 2021, Volume: 14 Issue: 3, 287 - 300, 31.07.2021

Deniz Şen , Hasan Tahsin Küçükkaykı , Elif Sürer

https://doi.org/10.17671/gazibtd.706884

Abstract

Video game research is an ever-changing and dynamic area where sophisticated methods and algorithms are being developed. Procedural content generation (PCG), which aims to merge user-generated assets with algorithms to automate and improve video game content, has been the core of this sophistication. However, the outcomes are primarily reflected in game aesthetics, not in the game mechanics and gameplay. In this study, we introduce the “game scene as a canvas” concept where simple prototype game development pipelines, that can convert a 2D game-level image into a game development environment with ready-to-use colliders and artistically different styles that enhance the game aesthetics, are introduced. To do so, edge-based and color-based features of the input game level image are extracted using the Canny edge detector, Simple Linear Iterative Clustering, and Felzenszwalb segmentation. The Unity game engine is then used to generate colliders based on the provided edge and color features where the game level is style transferred with spatial control. Results of different neural style transfer algorithms are presented on benchmark games such as Super Mario and Kid Icarus. Results show that this study can become a promising tool to simplify 2D video game development, focusing on game mechanics and aesthetics.

Keywords

neural style transfer, image processing, game mechanics, video games

İki Boyutlu Video Oyunlarında Sinir Stili Aktarımı Kullanarak Otomatik Oyun Mekaniği ve Estetiği Üretimi

Abstract

Video oyunu araştırması, karmaşık yöntemlerin ve algoritmaların geliştirildiği, sürekli değişmekte olan, dinamik bir alandır. Prosedürel içerik üretimi, kullanıcı tarafından oluşturulan parçaları video oyunu içeriğini otomatikleştirmek ve geliştirmek için algoritmalarla birleştirmeyi amaçlamakta ve bu yöntemlerin temelini oluşturmaktadır. Bununla birlikte, sonuçlar oyun mekaniğine ve oyunun oynanış biçimine değil, çoğunlukla oyun estetiğine yansımaktadır. Bu çalışmada, “tuval olarak oyun sahnesi” konsepti ile kullanıma hazır çarpıştırıcılar ve oyun estetiğini geliştiren, sanatsal açıdan farklı stiller kullanarak iki boyutlu oyun seviyesindeki bir görüntüyü basit bir prototip oyun geliştirme ortamına dönüştürebilen yöntem ve süreç sunulmaktadır. Bu amaçla, giriş oyun seviyesi görüntüsünün kenar ve renk bazlı özellikleri Canny kenar belirleme, basit doğrusal yinelemeli kümeleme ve Felzenszwalb segmentasyonu kullanılarak çıkarılmaktadır. Daha sonra, Unity oyun motoru, mekansal kontrol ile oyun seviyesinin stilinin aktarıldığı kenar ve renk özelliklerine göre çarpıştırıcılar oluşturmak için kullanılmaktadır. Farklı sinir stil transfer algoritmalarının sonuçları, Super Mario, Lode Runner ve Kid Icarus gibi oyunlar üzerinde karşılaştırılmakta ve tartışılmaktadır. Sonuçlar, bu çalışmanın oyun mekaniği ve oyun estetiğine odaklanarak iki boyutlu video oyunu geliştirmeyi kolaylaştırma potansiyeline sahip bir araç olduğunu göstermektedir.

Keywords

sinir stili aktarımı, görüntü işleme, oyun mekaniği, video oyunu

References

• H. Ragib, S. Chakraborti, M. Z. Hossain, T. Ahamed, M. A. Hamid, M. F. Mridha, “Character and Mesh Optimization of Modern 3D Video Games”, Advances in Data and Information Sciences, 655–666, Springer, Singapore, 2020.
• S. Bart, P. Dobrowolski, M. Skorko, J. Michalak, A. Brzezicka, “Issues and advances in research methods on video games and cognitive abilities”, Frontiers In Psychology, 6(1451), 1–7, 2015.
• M. Csikszentmihalyi, M. Csikzentmihaly, Flow: The psychology of optimal experience, New York: Harper & Row, 1990.
• N. Shaker, J. Togelius, M. J. Nelson, Procedural Content Generation in Games: A Textbook and an Overview of Current Research, NewYork, NY, USA: Springer-Verlag, 2016.
• L. A. Gatys, A. S. Ecker, M. Bethge, “Image style transfer using convolutional neural networks”, IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016.
• F. Luan, S. Paris, E. Shechtman, K Bala, “Deep photo style transfer”, IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 2017.
• J. J. Virtusio, A. Talavera, D. S. Tan, K. Hua, A. Azcarraga, “Interactive style transfer: Towards styling user-specified object”, IEEE Visual Communications and Image Processing (VCIP), Taichung, Taiwan, 2018.
• Y. Li, C. Fang, J. Yang, Z. Wang, X. Lu, M. Yang, “Universal style transfer via feature transforms”, The Thirty-first Annual Conference on Neural Information Processing Systems (NIPS), Long Beach, CA, USA, 2017.
• K. Ziga, J. Bagchi, J. P. Allebach, F. Zhu, “Non-parametric texture synthesis using texture classification”, Electronic Imaging, 17, 136–141, 2017.
• A. A. Efros, W. T. Freeman, “Image quilting for texture synthesis and transfer”, 28th Annual Conference on Computer Graphics and Interactive Techniques (SIGGRAPH’01), Los Angeles, CA, USA, 2001.
• J. Johnson, A. Alahi, L. Fei-Fei, “Perceptual losses for real-time style transfer and super-resolution”, European Conference on Computer Vision (ECCV 2016), Amsterdam, The Netherlands, 2016.
• A. Summerville, S. Snodgrass, M. Guzdial, C. Holmgård, A. K. Hoover, A. Isaksen, A. Nealen, J. Togelius, “Procedural content generation via machine learning (PCGML)”, IEEE Transactions on Games, 10(3), 257–270, 2018.
• S. Snodgrass, S. Ontanón, “Learning to generate video game maps using markov models”, IEEE Transactions on Computational Intelligence and AI in Games, 9 (4), 410–422, 2016.
• M. Guzdial and M. Riedl, “Learning to blend computer game levels”, 7th International Conference on Computational Creativity (ICCC 2016), Paris, France, 2016.
• J. Gow, J. Corneli, “Towards generating novel games using conceptual blending”, Eleventh Artificial Intelligence and Interactive Digital Entertainment Conference (AIIDE-15), Santa Cruz, CA, USA, 2015.
• A. J. Summerville, S. Snodgrass, M. Mateas, S. Ontanón, “The vglc: The video game level corpus”, arXiv preprint arXiv:1606.07487, 2016.
• A. Polesel, G. Ramponi, V. J. Mathews, “Image enhancement via adaptive unsharp masking”, IEEE Transactions on Image Processing, 9(3), 505–510, 2000.
• P. Bao, L. Zhang, X. Wu, “Canny edge detection enhancement by scale multiplication”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 27(9), 1485–1490, 2005.
• R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Süsstrunk, “SLIC superpixels compared to state-of-the-art superpixel methods”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 34(11), 2274–2282, 2012.
• E. B. Alexandre, A. Shankar Chowdhury, A. X. Falcao, P. A. V. Miranda, “IFT-SLIC: A general framework for superpixel generation based on simple linear iterative clustering and image foresting transform”, 28th SIBGRAPI Conference on Graphics, Patterns and Images, Salvador, Bahia, Brazil, 2015.
• P. Felzenszwalb, D. Huttenlocher, “Efficient Graph-Based Image Segmentation”, International Journal of Computer Vision, 59 (2), 167–181, 2004.
• Internet: Unity Technologies–Unity 3d., http://unity3d.com/, 24.07.2020.
• W. Goldstone, Unity 3. x game development Essentials, Packt Publishing Ltd, 2011.
• C. Ericson, Real-time collision detection, CRC Press, 2004.
• N. Shaker, J. Togelius, G. N. Yannakakis, B. Weber, T. Shimizu, T. Hashiyama, N. Sorenson, P. Pasquier, P., P. Mawhorter, G. Takahashi, G. Smith, “The 2010 Mario AI championship: Level generation track”, IEEE Transactions on Computational Intelligence and AI in Games, 3(4), 332–347, 2011.
• D. J. Rezende, S. Mohamed, D. Wierstra, “Stochastic backpropagation and approximate inference in deep generative models”, arXiv preprint arXiv:1401.4082, 2014.