Paradigm shift by generative spatial intelligence

Abstract

Generative AI (GenAI) applications facilitate and complement human thinking, enabling reasoning and inference. The significant rise of GenAI applications is changing the daily lives and the way of doing business for almost everyone, from different industries to end users. GenAI increases the efficiency and productivity of individuals and organizations, facilitates the development of innovative products and services, saves time and resources. In summary, it shapes the future. While there are many advantages of large language models and GenAI models, there are also some limitations. There are some issues where large language models with general knowledge are inadequate, such as fine-tuning them to be used more effectively in certain areas, integrating them with knowledge graphs to cover missing background information, working smoothly with standard web formats such as JSON, and associating them with large action models. Within the scope of the study, these deficiencies will be discussed. It will also focus on how organizations should configure an information processing infrastructure to overcome these deficiencies. The study will discuss how the concept of generative spatial intelligence (GenGeoAI) will be shaped by integrating the experience gained from GenAI applications with spatial intelligence (GeoAI).

Keywords

• Artificial intelligence
• Spatial intelligence
• Generative AI
• Multi-modal AI
• Large language models

Üretken uzamsal zekânın getirdiği paradigma değişimi

Abstract

İnsanoğlunun düşünce sistemini kolaylaştıran ve tamamlayan, akıl yürütme ve çıkarım yapmasına olanak veren üretken yapay zekâ uygulamalarının önemli yükselişi, farklı endüstrilerden son kullanıcılara kadar hemen hemen her kesimin günlük yaşamını ve iş yapış şeklini değiştirmektedir. Üretken yapay zekâ; kişilerin ve kuruluşların verimliliklerini ve üretkenliklerini arttırmakta, yenilikçi ürün ve hizmetlerin geliştirilmelerini kolaylaştırmakta, zaman ve kaynak tasarrufu sağlamakta ve kısacası geleceğe yön vermektedir. Büyük dil modellerinin ve bununla birlikte üretken yapay öğrenme modellerinin birçok üstün yönü olmasına rağmen bazı kısıtlı kaldığı geliştirilmesi gereken yönleri de bulunmaktadır. Genel bilgiye sahip büyük dil modellerinin belirli alanlarda daha etkin kullanılabilmesi için öncelikle ince ayarlarının yapılması ve eksik arka plan bilgisinin kapatılması için bilgi çizgeleri ile bütünleştirilmesi gerekmektedir. Sonrasında ise JSON gibi standart web formatları ile sorunsuz çalışabilmesi sağlanmalı ve eylem modelleri ile ilişkilendirilmelerindeki yetersizlikler giderilmelidir. Çalışma kapsamında sözü edilen bu eksiklikler tartışılacak, kurum ve kuruluşların bu eksiklileri nasıl bir bilgi işlem altyapısı ile ele almaları gerektiği üzerinde durulacaktır. Üretken yapay zekâ uygulamalarından elde edilen deneyimin uzamsal/mekânsal zekâ ile bütünleştirilerek üretken uzamsal zekâ kavramının nasıl şekilleneceğine ilişkin çıkarımlar çalışma kapsamında paylaşılacaktır.

Keywords

• Yapay zekâ
• Uzamsal zekâ
• Üretken yapay zekâ
• Çok modlu yapay zekâ
• Büyük dil modelleri

References

1. Barron, J. T., Mildenhall, B., Verbin, D., Srinivasan, P. P., & Hedman, P. (2023). Zip-NeRF: Anti-aliased grid-based neural radiance fields. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 19697-19705).
2. Beurer-Kellner, L., Fischer, M., & Vechev, M. (2023). Prompting is programming: A query language for large language models. Proceedings of the ACM on Programming Languages, 7(PLDI), 1946-1969.
3. Bruce, J., Dennis, M., Edwards, A., Parker-Holder, J., Shi, Y., Hughes, E., Lai, M., Mavalankar, A., Steigerwald, R., Apps, C., Aytar, Y., Bechtle, S., Behbahani, F., Chan, S:, Heess, N., Gonzalez, L., Osindero, S., Ozair, S., Reed, S., Zhang, J., Zolna, K., Clune, J., Freitas, N., Singh, S., & Rocktäschel, T. (2024). Genie: Generative Interactive Environments. arXiv preprint arXiv:2402.15391.
4. Chen, Z., Wang, F., & Liu, H. (2023). Text-to-3D using gaussian splatting. arXiv preprint arXiv:2309.16585.
5. Coulom, R. (2007). Efficient selectivity and backup operators in Monte-Carlo tree search. In International conference on computers and games (pp. 72-83). Berlin, Heidelberg: Springer Berlin Heidelberg.
6. Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). Generative adversarial nets. Advances in neural information processing systems, 27.
7. Güney, C. (2019). Mekansal zekanın getirdiği paradigma değişimi. Jeodezi ve Jeoinformasyon dergisi, 6(2), 128-142.
8. Hamdi, A., Melas-Kyriazi, L., Qian, G., Mai, J., Liu, R., Vondrick, C., Ghanem, B., & Vedaldi, A. (2024). GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering. arXiv preprint arXiv:2402.10128.

9. Hoffmann, J, Borgeaud, S., Mensch, A., Buchatskaya, E., Cai, T., Rutherford, E., Las Casas, D., Hendricks, L. A., Welbl, J., Clark, A., Hennigan, T., Noland, E., Millican, K., Driessche, G., Damoc, B., Guy, A., Osindero, S., Simonyan, K., Elsen, E., Rae, J. W., Vinyals, O., & Sifre, L. (2022). Training compute-optimal large language models. arXiv preprint arXiv:2203.15556.
10. Kerbl, B., Kopanas, G., Leimkühler, T., & Drettakis, G. (2023). 3D gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics, 42(4), 1-14.
11. Lample, G., & Conneau, A. (2019). Cross-lingual language model pretraining. arXiv preprint arXiv:1901.07291. Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., & Soricut, R. (2020). ALBERT: A lite BERT for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942.
12. Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A robustly optimized BERT pretraining approach. arXiv preprint arXiv:1907.11692.
13. Luiten, J., Kopanas, G., Leibe, B., & Ramanan, D. (2023). Dynamic 3D gaussians: Tracking by persistent dynamic view synthesis. arXiv preprint arXiv:2308.09713.
14. Mildenhall, B., Srinivasan, P. P., Tancik, M., Barron, J. T., Ramamoorthi, R., & Ng, R. (2020). NeRF: Representing scenes as neural radiance fields for view synthesis. Communications of the ACM, 65(1), 99-106.
15. Nichol, A., Dhariwal, P., Ramesh, A., Shyam, P., Mishkin, P., McGrew, B., Sutskever, I., & Chen, M. (2021). GLIDE: Towards photorealistic image generation and editing with text-guided diffusion models. arXiv preprint arXiv:2112.10741.
16. Nichol, A., Jun, H., Dhariwal, P., Mishkin, P., & Chen, M. (2022). Point-E: A system for generating 3D point clouds from complex prompts. arXiv preprint arXiv:2212.08751.
17. Pan, S., Luo, L., Wang, Y., Chen, C., Wang, J., & Wu, X. (2024). Unifying large language models and knowledge graphs: A roadmap. IEEE Transactions on Knowledge and Data Engineering.
18. Rabby, A. K. M., & Zhang, C. (2024). BeyondPixels: A comprehensive review of the evolution of neural radiance fields. arXiv preprint arXiv:2306.03000.
19. Sanh, V., Debut, L., Chaumond, J., & Wolf, T. (2020). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108.
20. Song, H., Dong, L., Zhang, W. N., Liu, T., & Wei, F. (2022). CLIP models are few-shot learners: Empirical studies on VQA and visual entailment. arXiv preprint arXiv:2203.07190.
21. Subramanya, S. J., Devvrit, F., Simhadri, H. V., Krishnawamy, R., & Kadekodi, R. (2019). DiskANN Fast accurate billion-point nearest neighbor search on a single node. Advances in Neural Information Processing Systems, 32.
22. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L. Gomez, A. N., Kaiser, L., & Polosukhin, I. (2023). Attention is all you need (v7). arXiv:1706.03762v7.
23. Wu, S., Fei, H., Qu, L., Ji, W., & Chua, T. S. (2023). NExT-GPT: Any-to-any multimodal LLM. arXiv preprint arXiv:2309.05519.
24. Wu, G., Yi, T., Fang, J., Xie, L., Zhang, X., Wei, W., Liu, W., Tian, Q., & Wang, X. (2023). 4D gaussian splatting for real-time dynamic scene rendering. arXiv preprint arXiv:2310.08528.
25. Yang, Z., Dai, Z., Yang, Y., Carbonell, J., Salakhutdinov, R. R., & Le, Q. V. (2020). XLNet: Generalized autoregressive pretraining for language understanding. Advances in neural information processing systems, 32.
26. Yi, T., Fang, J., Wang, J., Wu, G., Xie, L., Zhang, X., Liu, W., Tian, Q., & Wang, X. (2023). GaussianDreamer: Fast generation from text to 3D gaussian splatting with point cloud priors. arXiv preprint arXiv:2310.08529. Zwicker, M., Pfister, H., Van Baar, J., & Gross, M. (2002). EWA splatting. IEEE Transactions on Visualization and Computer Graphics, 8(3), 223-238. URL-1: https://cvpr2022-tutorial-diffusion-models.github.io (Erişim Tarihi: 17 Ocak 2024). URL-2: https://timbr.ai/blog/introducing-timbr-sql-kg (Erişim Tarihi: 30 Mart 2024).