Analysis of Text-to-Image Artificial Intelligence Systems in Terms of Contribution to Interior Coloring

Year 2023, , 275 - 283, 31.10.2023

Muhterem Hoşer , Erdem Köymen

https://doi.org/10.17671/gazibtd.1252993

Abstract

In this article, based on its potential contribution to architectural design processes, research has been made on the “text-to-image” systems of artificial intelligence. In the research, the four most common systems Craiyon, Dall-E, Midjourney, and Stable Diffusion were selected, and these systems were tested for coloring a pre-school education space. First of all, the “kindergarten” text was presented to the systems and according to this text, four alternative images were produced from each system. Afterward, the dominant color coding of the images was analyzed in the computer environment. The 3D model of preschool space was colored with the obtained color codes. The 16 images that emerged because of coloring were presented to 62 expert participants, consisting of preschool teaching and architecture/interior architecture department members, accompanied by a survey. In the survey, the experts were asked to evaluate the colored images in “entertainment” and “academic” contexts. As a result of the statistical analysis of the survey data showed that the Craiyon system used colors more successfully than other systems in terms of coloring a preschool education space. This study measured the ability of artificial intelligence systems from text-to-image to interpret the text in terms of the production of color codes suitable for the type of space. However, it has been tried to articulate such systems to architectural design areas and to open the door from a unique perspective.

Keywords

artificial Intelligence, text-to-image, coloring, interior space

İç Mekân Renklendirmesine Katkı Açısından Metinden Görüntüye Yapay Zekâ Sistemlerinin İncelenmesi

Abstract

Bu makalede mimari tasarım süreçlerine potansiyel katkısından hareketle yapay zekânın “metinden görüntüye” sistemleri üzerine bir araştırma yapılmıştır. Araştırmada en yaygın dört sistem olan Craiyon, Dall-E, Midjourney ve Stable Diffusion seçilmiş ve bu sistemler bir okul öncesi eğitim mekânının renklendirmesi için denenmiştir. Öncelikle sistemlere “kindergarten” (anaokulu) metni sunulmuş ve bu metne göre her bir sistemden dörder alternatif görsel üretilmiştir. Sonrasında görsellerin baskın renk kodlamaları bilgisayar ortamında çözümlenmiştir. Elde edilen renk kodları ile bir okul öncesi mekânın 3B modeli renklendirilmiştir. Renklendirme sonucu ortaya çıkan 16 görsel, okul öncesi öğretmenliği ve mimarlık/iç mimarlık bölüm mensuplarından oluşan 62 uzman katılımcıya bir anket eşliğinde sunulmuştur. Ankette uzmanlardan renklendirilmiş görselleri “eğlence” ve “akademik” bağlamlarda değerlendirmeleri istenmiştir. Anket verilerinin istatistiksel analizleri sonucu Craiyon sisteminin bir okul öncesi eğitim mekânının renklendirmesi açısından renkleri diğer sistemlere göre daha başarılı kullandığı izlenmiştir. Bu çalışma ile metinden görüntüye yapay zekâ sistemlerinin metni, mekânın türüne uygun renk kodlarının üretimi açısından yorumlama becerisi ölçülmüştür. Bununla birlikte bu gibi sistemlerin mimari tasarım alanlarına eklemlenmesine, özgün bir açıdan kapı açılmaya çalışılmıştır.

Keywords

yapay zekâ, metinden görüntüye, mekân tasarımı, mimari tasarım

References

• Sucu, İ. & Ataman, E., “Dijital Evrenin Yeni Dünyası Olarak Yapay Zeka ve Her Filmi Üzerine Bir Çalışma”, Yeni Medya Elektronik Dergisi, 4 (1), 40-52, 2020.
• Bayrak, E., Yapay Zekâ ve Mekân Tasarımı Etkileşiminin Günümüz Tasarım Eğitiminde Değerlendirilmesi. Yüksek Lisans Tezi, Hacettepe Üniversitesi, Güzel Sanatlar Enstitüsü, 2020.
• Deveci, M., “Yapay Zekâ Uygulamalarının Sanat ve Tasarım Alanlarına Yansıması”, Vankulu Sosyal Araștırmalar Dergisi, 9, 119-140, 2022.
• Yıldırım, B., & Demirarslan, D., “İç Mimarlıkta Yapay Zekâ Uygulamalarının Tasarım Sürecine Faydalarının Değerlendirilmesi”, Humanities Sciences, 15(2), 62-80, 2020.
• Reviriego, P., & Merino-Gómez, E., “Text to Image Generation: Leaving no Language Behind”, ArXiv Preprint ArXiv, 2208.09333, 2022.
• He, X., & Deng, L., “Deep Learning for Image-to-Text Generation: A Technical Overview”, IEEE Signal Processing Magazine, 34(6), 109–116, 2017.
• Internet: The Economist Newspaper. (n.d.), How a Computer Designed This Week’s Cover, https://www.economist.com/news/2022/06/11/how-a-computer-designed-this-weeks-cover, 02.18.2023.
• Yıldırım, B. ve Emirarslan, S., İç Mimarlıkta Yapay Zekâ: İnsana Öykünen Makineler Çağında Yapay Zekânın Mesleki Paydaşlığı, Yapay Zekâ ve Dijital Teknoloji, İksad Publishing House, Ankara, s.101, 2021.
• Internet: Wikipedia, Text-to-image model, https://en.wikipedia.org/wiki/Text-to-image_model, 02.18.2023.
• Internet: Dall-E, Dall-E results screen, https://openai.com/dall-e-2/, 02.18.2023.
• Şen, E., “GPT3: DALL-E ve JL2P Ekseninde Veri Görselleştirme ve Hareketlendirme Üzerine Bir İnceleme”, USBAD Uluslararası Sosyal Bilimler Akademi Dergisi, 3(5), 253-280, 2021.
• Internet: K. Johnson, OpenAI and Stanford researchers call for urgent action to address harms of large language models like GPT-3, https://venturebeat.com/ai/openai-and-stanford-researchers-call-for-urgent-action-to-address-harms-of-large-language-models-like-gpt-3/, 02.18.2023.
• Internet: OpenAI, Dall-E 2, https://openai.com/dall-e-2, 02.18.2023.
• Internet: G. Lui, Dall-E 2 made its first magazine cover.https://www.cosmopolitan.com/lifestyle/a40314356/dall-e-2-artificial-intelligence-cover, 02.18.2023.
• Internet: Y. Wu, How AI creates photorealistic images from text, https://blog.google/technology/research/how-ai-creates-photorealistic-images-from-text/, 02.18.2023.
• Internet: Stable Diffusion, Result views from two beta versions of Stable Diffusion, https://stablediffusionweb.com/, 02.18.2023.
• Internet: E. Mostaque, Stable diffusion launch announcement. Stability AI, https://stability.ai/blog/stable-diffusion-announcement, 02.18.2023.
• Internet: Craiyon, Results Screen of Craiyon, https://www.craiyon.com, 02.18.2023.
• Internet: B. Dayma et. al, Dalle-mini-hugging face, https://huggingface.co/dalle-mini/dalle-mini, 02.18.2023.
• Internet: Midjourney, Midjourney’s Discord. https://discord.gg/midjourney, 02.18.2023.
• Internet: D. Holz, About. Midjourney, https://midjourney.com/home/?callbackUrl=%2Fapp%2F#about, 02.18.2023.
• nternet: S. Krishna, S.. Midjourney founder says ‘the world needs more imagination’, https://venturebeat.com/ai/midjourney-founder-says-the-world-needs-more-imagination/, 02.18.2023.
• Borji, A., “Generated faces in the wild: Quantitative Comparison Of Stable Diffusion, Midjourney And Dall-E 2”, ArXiv Preprint ArXiv, 2210.00586, 2022.
• Ploennigs, J., & Berger, M., “AI Art in Architecture”. ArXiv Preprint ArXiv, 2212.09399, 2022.
• Internet: P. Dudani, Wordings and Worldings: DALL-E wordplays to visualise alternative metaphors for complex systems, https://rsdsymposium.org/wordings-and-worldings/, 02.18.2023.
• Internet: Vermillion, J., Iterating the Design Process Using AI Diffusion Models, https://digitalscholarship.unlv.edu/cfa_collaborate/9/,02.18.2023.
• Abduljawad, M., & Alsalmani, A., “Towards Creating Exotic Remote Sensing Datasets using Image Generating AI”, In 2022 International Conference on Electrical and Computing Technologies and Applications (ICECTA) (pp. 84-88). IEEE, 2022.
• Baran, M., Yılmaz, A., & Yıldırım, M, “Okul Öncesi Eğitimin Önemi ve Okul Öncesi Eğitim Yapılarındaki Kullanıcı Gereksinimleri Diyarbakır Huzurevleri Anaokulu Örneği”, Dicle Üniversitesi Ziya Gökalp Eğitim Fakültesi Dergisi, (8), 27-44, 2007.
• Tabachnick, B. G. & Fidell, L. S., Using Multivariate Statistics. Pearson, 2013.
• Partigöç, N. S., “Afet Risk Yönetiminde Yapay Zekâ Kullanımının Rolü”, Bilişim Teknolojileri Dergisi , 15 (4) , 401-411, 2022.
• Huynh-The, T., Pham, Q. V., Pham, X. Q., Nguyen, T. T., Han, Z., & Kim, D. S., “Artificial intelligence for the metaverse: A survey”, Engineering Applications of Artificial Intelligence, 117, 105581, 2023.
• Vartiainen, H., & Tedre, M, “Using artificial intelligence in craft education: crafting with text-to-image generative models”, Digital Creativity, 34(1), 1-21, 2023.
• Fernandez, P., “Technology Behind Text to Image Generators”, Library Hi Tech News, 39(10), 1-4, 2022.