GPT3: DALL-E AND JL2P ON AXIS OF DATA VISUALIZATION AND MOTION A REVIEW ON

Abstract

Artificial intelligence, one of the powerful symbols of technological evolution, progresses rapidly in line with current developments in the field of deep learning. One of the concrete outputs of this progress, the GPT3 system (producer pre-trained converter-generative pre-trained transformer3) is rapidly developing in the field of data visualization, depending on the deep learning language model. Dall-e, a product of GPT3 developed by OpenAI, is an artificial neural network that converts texts expressed in natural language into images. By recognizing the meaning of around 12 billion parameters to Dall, it can transform the sentences given to Dall into visuals that have never been done before. Another system that works similar to the Dall-e system is the natural language-based pose prediction study called JL2P (Joint Language to Pose). In the JL2P application, there is a text-based action just like Dall-e. According to the verbal input given in this system, the relevant character can perform the desired movement visually. This situation shows that character visualizations and movements can be easily done only through verbal expressions in the field of animation and game design. This article aims to convey to the reader the current developments brought about by the data visualization and activation skills of artificial intelligence with an interdisciplinary perspective. Studies in the field of artificial intelligence and data visualization open the door to a system that can inspire designers while creating storyboards or brainstorming. Research in this field is important for evaluating the relationship between designer and artificial intelligence through concepts such as creativity, productivity, and speed.

Keywords

• Artificial Intelligence
• GPT3
• GPT3 Dall-e
• JL2P
• Design.

GPT3: DALL-E VE JL2P EKSENİNDE VERİ GÖRSELLEŞTİRME VE HAREKETLENDİRME ÜZERİNE BİR İNCELEME

Abstract

Teknolojik evrimin güçlü sembollerinden biri olan yapay zekâ, derin öğrenme alanındaki güncel gelişmeler doğrultusunda hızla ilerleme kaydetmektedir. Bu ilerlemenin somut çıktılarından biri olan GPT3 sistemi (üretici ön-eğitimli dönüştürücü-generative pre-trained transformer3) derin öğrenme dil modeline bağlı olarak, veri görselleştirme alanında hızla gelişmektedir. OpenAI tarafından geliştirilen GPT3'ün bir ürünü olan Dall-e, doğal dilde ifade edilen metinleri görüntüye dönüştüren yapay bir sinir ağıdır. Dall'e 12 milyar civarında parametrenin anlamını tanıyarak kendisine verilen cümleleri daha önce hiç yapılmamış görsellere dönüştürebilmektedir. Dall-e sistemine benzer bir şekilde çalışan bir diğer sistem ise, JL2P (Joint Language to Pose) olarak adlandırılan doğal dile dayalı poz tahmini çalışmasıdır. JL2P uygulamasında tıpkı Dall-e de olduğu gibi yazı temelli bir aksiyon söz konusudur. Bu sistemde verilen sözel girdiye göre ilgili karakter, kendisinden istenen hareketi görsel olarak gerçekleştirebilmektedir. Bu durum animasyon ve oyun tasarımı alanında sadece sözel ifadeler üzerinden karakter görselleştirmelerinin ve hareketlerinin kolaylıkla yapılabileceğini göstermektedir. Bu makale, yapay zekânın veri görselleştirme ve hareketlendirme becerilerinin getirmiş olduğu güncel gelişmeleri, disiplinler arası bir bakış açısıyla okuyucuya aktarmayı amaçlamaktadır. Yapay zekâ ve veri görselleştirme alanındaki çalışmalar, tasarımcıların hikaye panosu (storyboard) oluştururken ya da beyin fırtınası (brainstorming) yaparken ilham almalarını sağlayabilecek bir sistemin kapılarını aralamaktadır. Bu alanda yapılan araştırmalar, tasarımcı ve yapay zekâ ilişkisinin yaratıcılık, üretkenlik, hız gibi kavramlar üzerinden değerlendirilmesi adına önemlidir. 

Keywords

• yapay zekâ
• Gpt3
• Gpt3 Dall-e
• Jl2p
• Tasarım

References

1. Ahuja, C. & Morency, L. P. (2018). Language2Pose: Natural Language Grounded Pose Forecasting. Cornell University, Erişim Adresi: https://arxiv.org/abs/1907.01108.
2. Friendly, M. & Brief, A. (2006). History of Data Visualization: Handbook of Computational Statistics. Toronto: Canada
3. Güler, T. (2008). Bilgilendirme Tasarımı. Grafik Tasarım Dergisi 21, 28.
4. Koh, Y. J., Baldridge, J., Lee, H. & Yang Y. (2020). Text-to-Image Generation Grounded by Fine-Grained User Attention. Google Research. Erişim Adresi: https://arxiv.org/pdf/1711.10485.pdf
5. Schwab, K. (2017). Dördüncü Sanayi Devrimi. İstanbul: Optimist Yayınları.
6. Mohri, M., Rostamizadeh, A. & Talwalkar, A. (2012). Foundations of Machine Learning. Cambridge: The MIT Press.
7. Mitchell, T. M. (1997). Machine Learning. 1st Edition, New York: McGraw-Hill.
8. Najafabadi, M. M., Villanustre, F., Khoshgoftaar, T. M., Seliya, N., Wald, R. & Muharemagic, E. (2015). Deep Learning Applications and Challenges in Big Data Analytics. Journal of Big Data 2(1), 1–21.

9. Zhang, Y., Tsipidi, E., Schriber, S., Kapadia, M., Gross, M. & Modi, A. (2019). Generating Animation from Screenplays. Disney Research&Rutgers University. Erişim Adresi: https://arxiv.org/pdf/1904.05440.pdf.
10. Zicari, V. R. (2018). Explorations in Artificial Intelligence and Machine Learning. Florida: CRC Press.
11. OpenAİ. (2021). Erişim Adresi: https://openai.com/blog/organizational-update/ Erişim Tarihi: 14.01.2021.
12. Openai. (2021). Erişim Adresi: https://youtu.be/zfllpcBlAVI, Erişim Tarihi: 15.01.2021.
13. Görsel 1: Veri görselleştirme üzerine temsil görsel. (2021). Erişim adresi: https://openai.com/blog/dall-e/
14. Görsel 2: Yapay zekâ tarafından oluşturulan illüstrasyonlar. (2021). Erişim adresi: https://openai.com/blog/dall-e/
15. Görsel 3: Yapay zekâ tarafından oluşturulan illüstrasyonlar. (2021). Erişim adresi: https://openai.com/blog/dall-e/
16. Görsel 4: Yapay zekâ tarafından oluşturulan illüstrasyonlar. (2021). Erişim adresi: https://openai.com/blog/dall-e/
17. Görsel 5: Yapay zekâ tarafından oluşturulan illüstrasyonlar. (2021). Erişim adresi: https://openai.com/blog/dall-e/
18. Görsel 6: Yapay zekâ tarafından oluşturulan illüstrasyonlar. (2021). Erişim adresi: https://openai.com/blog/dall-e/
19. Görsel 7: Yapay zekâ tarafından oluşturulan illüstrasyonlar. (2021). Erişim adresi: https://openai.com/blog/dall-e/
20. Görsel 8: Yapay zekâ tarafından oluşturulan renk tanıma çalışmaları. (2021). Erişim adresi: https://openai.com/blog/dall-e/
21. Görsel 9: Yapay zekâ tarafından stil, ışık/gölge ve iklime göre oluşturulan görseller. (2021). Erişim adresi: https://openai.com/blog/dall-e/
22. Görsel 10: Yapay zekâ tarafından stil, ışık/gölge ve iklime göre oluşturulan görseller. (2021). Erişim adresi: https://openai.com/blog/dall-e/
23. Görsel 11: Yapay zekâ tarafından oluşturulan stil ve kompozisyon görselleri. (2021). Erişim adresi: https://openai.com/blog/dall-e/
24. Görsel 12: Yapay zekâ tarafından oluşturulan mevsime göre değişen kompozisyon görselleri. (2021). Erişim adresi: https://openai.com/blog/dall-e/
25. Görsel 13: Yapay zekâ tarafından oluşturulan mevsime göre değişen kompozisyon görselleri. (2021). Erişim adresi: https://openai.com/blog/dall-e/
26. Görsel 14: Yapay zekâ tarafından oluşturulan vitray görselleri. (2021). Erişim adresi: https://openai.com/blog/dall-e/
27. Görsel 15: Yapay zekâ tarafından oluşturulan vitray görselleri. (2021). Erişim adresi: https://openai.com/blog/dall-e/
28. Görsel 16: Yapay zekâ tarafından oluşturulan hayvan kombinasyonları. (2021). Erişim adresi: https://openai.com/blog/dall-e/
29. Görsel 17: Yapay zekâ tarafından oluşturulan robot görselleri. (2021). Erişim adresi: https://openai.com/blog/dall-e/
30. Görsel 18: Yapay zekâ tarafından oluşturulan robot görselleri. (2021). Erişim adresi: https://openai.com/blog/dall-e/
31. Görsel 19: Yapay zekâ tarafından oluşturulan emoji örnekleri. (2021). Erişim adresi: https://openai.com/blog/dall-e/
32. Görsel 20: Yapay zekâ tarafından oluşturulan emoji örnekleri. (2021). Erişim adresi: https://openai.com/blog/dall-e/
33. Görsel 21: Doğal dile dayalı poz animasyonu temsili görseli. (2019). Erişim adresi: https://arxiv.org/pdf/1907.01108.pdf
34. Görsel 22: Yön kavramına göre yapılan poz tahmini animasyonu. (2019). Erişim adresi: https://arxiv.org/pdf/1907.01108.pdf
35. Görsel 23: Hız kavramına göre yapılan poz tahmini animasyonu. (2019). Erişim adresi: https://arxiv.org/pdf/1907.01108.pdf
36. Görsel 24: Hareket kavramına göre yapılan poz tahmini animasyonu. (2019). Erişim adresi: https://arxiv.org/pdf/1907.01108.pdf
37. Görsel 25: Microsoft ObjGAN veri görselleştirme sistemi. (2019). Erişim adresi: https://medium.com/syncedreview/microsoft-obj-gan-turns-words-into-complex-scenes-5c6024f0f91d<.
38. Görsel 26: Disney veri görselleştirme sistemi. (2019). Erişim adresi: https://studios.disneyresearch.com/wp-content/uploads/2019/08/Generating-Animations-from-Screenplays.pdf