A review on HBIM modelling process from 3D point clouds by applying artificial intelligence algorithms in cultural heritage

Öz

In the context of Cultural Heritage (CH), the widespread adoption of 3D point cloud technology, coupled with Artificial Intelligence (AI) algorithms, plays a pivotal role. These technologies facilitate the creation of as-built models by integrating Building Information Modelling (BIM) strategies, enhancing collaboration within the Architecture, Engineering, and Construction (AEC) sector. Leveraging computer vision, robotics, and remote sensing, 3D point clouds provide rich data. However, manual segmentation and classification are labor-intensive and error prone. Consequently, researchers increasingly turn to machine learning (ML) and deep learning (DL) techniques for automating these tasks. The transition from manual reconstruction to automated procedures is crucial. Despite progress, gaps remain, particularly in incorporating 3D point cloud segmentation into Historical Building Information Modelling (HBIM). The lack of conclusive evidence regarding automated derivation of parametric attributes from segmentation outcomes underscores the need for further exploration. Addressing this gap is essential for cultural asset documentation, conservation, and upkeep. By automating the segmentation and classification of 3D point clouds, efficient communication via a shared database becomes feasible. The article aims to review studies on semantically parsing and classifying 3D point clouds using AI algorithms, particularly within complex cultural heritage geometries, shedding light on potential benefits and barriers.

Anahtar Kelimeler

• Cultural Heritage and Documentation
• Laser Scanning and 3D Point Cloud
• Digitation and Automation
• Artificial Intelligence
• BIM (HBIM)

Kültürel mirasta yapay zeka algoritmaları uygulayarak 3B nokta bulutlarından HBIM modelleme süreci üzerine bir inceleme

Öz

Kültürel Miras (KM) alanında, 3D nokta bulutu teknolojisinin ve Yapay Zeka (YZ) algoritmalarının geniş çapta kabul görmesi, bu alanda dönüştürücü bir etkiye sahiptir. Bu teknolojiler, Yapı Bilgi Modellemesi (YBM) stratejileriyle bütünleşerek, Mimarlık, Mühendislik ve İnşaat (AEC) sektöründe iş birliğini artırır ve inşa edilmiş modellerin oluşturulmasını kolaylaştırır. Bilgisayarla görme, robotik ve uzaktan algılama gibi alanlardan yararlanan 3D nokta bulutları, zengin veri setleri sunar. Ancak, manuel segmentasyon ve sınıflandırma süreçleri, yoğun emek gerektirir ve hata yapmaya müsaittir. Bu nedenle, araştırmacılar bu süreçleri otomatize etmek için giderek artan bir şekilde makine öğrenimi (MÖ) ve derin öğrenme (DÖ) tekniklerine başvurmaktadır. Manuel yöntemlerden otomatik süreçlere geçiş, bu alandaki ilerlemenin kritik bir parçasıdır. Bununla birlikte, özellikle 3D nokta bulutu segmentasyonunun Tarihi Yapı Bilgi Modellemesi’ne (HBIM) entegrasyonu konusunda mevcut boşluklar sürmektedir. Segmentasyon sonuçlarından parametrik özelliklerin otomatik olarak çıkarılması konusunda net kanıtların eksikliği, bu alanda daha fazla araştırma yapılması gerektiğini göstermektedir. Bu boşluğun kapatılması, kültürel varlıkların belgelenmesi, korunması ve bakımı açısından hayati öneme sahiptir. 3D nokta bulutlarının segmentasyon ve sınıflandırılmasının otomatize edilmesi, paylaşılan bir veri tabanı üzerinden etkin iletişim kurulmasını sağlar. Bu makale, karmaşık kültürel miras geometrilerinde YZ algoritmaları kullanılarak 3D nokta bulutlarının semantik olarak ayrıştırılması ve sınıflandırılmasına yönelik çalışmaları inceleyerek, bu yaklaşımın potansiyel avantajlarına ve karşılaşılan zorluklara dair bir bakış sunmayı hedeflemektedir.

Anahtar Kelimeler

• Kültürel Miras ve Dökümantasyon
• Lazer Tarama ve 3B Nokta Bulutu
• Dijitalleşme ve Otomasyon
• Yapay Zeka
• YBM (HBIM)

Kaynakça

1. [1] Guide, A.I.A., “Integrated Project Delivery: A guide”, The American Institute of Architects, (2007).
2. [2] Cotella, V. A., "From 3D point clouds to HBIM: Application of artificial intelligence in cultural heritage.", Automation in Construction, 152: 104936, (2023).
3. [3] Tunay, H.M., “Tarihi Yapi Bilgi Modellemesi (Tybm) Yönteminin Taşinmaz Kültür Varliklarinda Belgeleme Amaçli Kullanilabilirliğinin Araştirilmasi; Afyonkarahisar Ulu Camii Örneklemi”, Yüksek Lisans, Eskişehir Teknik Üniversitesi, (2022).
4. [4] Emekçi, Ş., “Korunan alanlarda sürdürülebilir mimari tasarım kriterlerinin belirlenmesi: Odak Grup Metodu.”, Tasarım + Kuram, 17.(33): 229-242, (2021).
5. [5] Sriyolja, Z., N. Harwin, and K. Yahya. "Barriers to implement building information modeling (BIM) in construction industry: A critical review.", IOP Conference Series: Earth and Environmental Science, 738: 012021, (2021).
6. [6] Kılıç K., Kılıç K., Özcan U. ve Doğru İ. A., “Using Deep Learning Techniques Furniture İmage Classification”, Journal of Polytechnic, (Erken Görünüm).
7. [7] Liu, Shan, et al., "Explainable Machine Learning Methods for Point Cloud Analysis.”, 3D Point Cloud Analysis: Traditional, Deep Learning, and Explainable Machine Learning Methods, Springer International Publishing, Champa, (2021).
8. [8] van Oers, R. (Ed.)., "Identification and documentation of modern heritage", UNESCO World heritage centre, 5, (2003).

9. [9] Marshall, D., "Preparing world heritage Nominations", First edition, UNESCO, 9789231041945, Paris, (2010).
10. [10] Müller-Bloch, C., & Kranz, J., "A framework for rigorously identifying research gaps in qualitative literature reviews", AIS Electronic Library (AISeL), (2015).
11. [11] Kıvılcım, C. Ö., "A semi-automatic façade generation methodology of architectural heritage from laser point clouds: A case study on Architect Sinan.", Phd. Thesis, Istanbul Technical University, (2024).
12. [12] Ahunbay, Z., "Kültür Mirasını Koruma İlke ve Teknikleri.", Yapı Endüstri Merkezi Yayınları, 9786058043435, İstanbul, (2019).
13. [13] Madran, E., and Tağmat. T.S., "Kültürel ve doğal miras: Uluslararası kurumlar ve belgeler.", Ankara: TMMOB Mimarlar Odası, 9789944892735, Ankara, (2007).
14. [14] Çügen, H. F., "Restorasyon Projelerinde Bim Kullanimi: Mahmud Paşa Hamami", Yüksek Lisans, Gazi Üniversitesi, (2022).
15. [15] Antova, G., Kunchev, I., & Mickrenska-Cherneva, C., "Point clouds in BIM", In IOP Conference Series: Earth and Environmental Science, 44: 042034, (2016).
16. [16] Underwood, J., & Isikdag, U. "Handbook of Research on Building Information Modeling and Construction Informatics: Concepts and Technologies", Information Science Reference, 9781605669298,USA, (2009).
17. [17] Logothetis, S., Delinasiou, A., & Stylianidis, E. "Building Information Modelling for Cultural Heritage: A review." ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2: 177–183. (2015).
18. [18] Murphy, M., McGovern, E., & Pavía, S. "Historic building information modelling (HBIM)." Structural Survey, 27(4): 311–327,(2009).
19. [19] López, F. J., Lerones, P. M., Llamas, J., Gómez-García-Bermejo, J., & Zalama, E., "A Review of Heritage Building Information Modeling (H-BIM).", MDPI, 2(2): 21, (2018).
20. [20] Macher, H., Landes, T., & Grussenmeyer, P. "Point clouds segmentation as base for as-built BIM creation." ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2:191–197, (2015).
21. [21] Garilli, E., Bruno, N., Roncella, R., & Giuliani, F. "Automatic detection of stone pavement’s pattern based on UAV photogrammetry.", Automation in Construction, 122: 103477, (2021).
22. [22] N. Oses, F. Dornaika, A. Moujahid, "Image-based delineation and classification of built heritage masonry", Remote Sens., 2 (6), (2014).
23. [23] Hou, Y., Mayer, Z., Li, Z., Volk, R., & Soibelman, L. "A Computer Vision Approach for Building Facade Component Segmentation on 3D Point Cloud Models Reconstructed by Aerial Images." In EG-ICE 2021 Proceedings: Workshop on Intelligent Computing in Engineering. Ed.: J. Abualdenien, 561, (2021).
24. [24] A. Felicetti, M. Paolanti, P. Zingaretti, R. Pierdicca, E. Malinverni, "Mo.Se.: mosaic image segmentation based on deep cascading learning," Virtual Archaeol. Rev., 12 (24): 25–38, (2021).
25. [25] Elmas E.E., Alkan M., “Bir insansız hava aracı sisteminin tasarımı, benzetimi ve gerçekleştirilmesi”, Journal of Polytechnic, 26(2): 929-940, (2023).
26. [26] Kaya S., Kiraz B. ve Çamurcu A.Y., “Branch and end points detection in cerebral vessels images using deep learning object detection techniques”, Journal of Polytechnic, (Erken Görünüm).
27. [27] Arayici, Y. "Towards building information modelling for existing structures." Structural Survey, 26(3): 210-222. (2008).
28. [28] M. Murphy, E. McGovern, S. Pavia, "Historic building information modelling - adding intelligence to laser and image-based surveys," ISPRS Int. Arch. Photogram. Remote Sens. Spat. Inf. Sci., 38 (5): 89–102, (2011).
29. [29] L. Barazzetti, R. Brumana, F. Banfi, "Historic BIM in the cloud", Digital Heritage. Progress in Cultural Heritage: Documentation, Preservation, and Protection", Springer International Publishing, Cham, Switzerland, (2016).
30. [30] W. Wang, S. Tianyun, L. Haixing, L. Xinfang, J. Zhen, Z. Lin, "Surface reconstruction from un-oriented point clouds by a new triangle selection strategy", Computers & Graphics, 84: 144–159, (2019).
31. [31] X. Yang, Y. Lu, A. Murtiyoso, M. Koehl, P. Grussenmeyer, "HBIM modeling from the surface mesh and its extended capability of knowledge representation", Int. J. Geo- Inform., 8 (7): 301, (2019).
32. [32] M. Tamke, H. Evers, R. Wessel, S. Ochmann, R. Vock, R. Klein, "An automated approach to the generation of structured building information models from unstructured 3D point cloud scans", Proceedings of the IASS Annual Symposium 2016 Spatial Structures in the 21st Century, IASS Annual Symposium 2016, Tokyo, Japan, (2016).
33. [33] F. Yang, G. Zhou, F. Su, X. Zuo, L. Tang, Y. Liang, H. Zhu, L. Lin, "Automatic indoor reconstruction from point cloudsin multi-room environments with curved walls", MDPI Sensors, 19(17): 3798, (2019).
34. [34] Wang, B., Yin, C., Luo, H., Cheng, J. C., & Wang, Q. "Fully automated generation of parametric BIM for MEP scenes based on terrestrial laser scanning data", Automation in Construction, 125: 103615, (2021).