Yerinde Yapısal Denetime Alternatif Olarak Dijital İkiz Kullanarak Otomatik Çatlak Tespiti ve WEB Tabanlı Sanal Gerçeklik ile Görselleştirme

Year 2024, Volume: 40 Issue: 2, 234 - 253, 31.08.2024

Abdurahman Yasin Yiğit , Murat Uysal

Abstract

Yapı ve nesne yönetiminde mevcut bakım stratejileri, esas olarak görsel yerinde incelemelere dayanmaktadır. Yerinde denetimin ve analizin zor olduğu nesne ve yapıları 3B bir ortamda görselleştirmek yapısal denetimlere farklı bakış açıları kazandırmaktadır. Bu çalışmada, yapısal denetimler için dijital ikiz çerçevesini kullanan yeni bir araştırma konusu önerilmektedir. Bunu uygulanabilir kılmak için ilk önce fotogrametri yöntemi aracılığıyla seçilen test nesnesinin dijital 3B modeli oluşturulmuştur. Üretilen 3B modelden daha sonra yapay zekâ ile otomatik bir şekilde çatlaklar tespit edilmiştir. Ardından 3B model ile tespit edilen çatlaklar birleştirilerek hasarla güçlendirilmiş dijital ikiz üretilmiştir. Üretilen hasarla artırılmış dijital ikiz son olarak WEB tabanlı sanal gerçeklik ortamına aktarılarak çeşitli uzmanlara hızlı bir analiz yapma imkânı sağlanmıştır. Bu sayede yerinde denetimlere bir çözüm sunulmasının yanı sıra çeşitli uzman görüşlerine hızlı denetim gerçekleştirilmiştir. Önerilen metodolojiyi modern bir yapı parçasında uygulanmış ve doğruluk analizinde 3B modelin geometrik doğruluğunun yanı sıra tespit edilen çatlakların doğruluğu da incelenmiştir. Sonuç olarak 0.97 cm’lik bir RMSE ile otomatik çatlak tespit doğruluğu sağlanmıştır.

Keywords

Yapısal Denetim, Çatlak Tespiti, SfM, Dijital İkiz, Sanal Gerçeklik

Thanks

Bu çalışma Afyon Kocatepe Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimi tarafından 23.FEN.BİL.17 nolu proje kapsamında desteklenmiştir. Ayrıca bu çalışma, ikinci yazarın danışmanlığında birinci yazarın doktora tez çalışmasının bir kısmını içermektedir.

Automated Crack Detection Using Digital Twin as An Alternative to In-Situ Structural Inspection and Visualization with WEB-Based Virtual Reality

Abstract

Current maintenance strategies in building and asset management are mainly based on visual on-site inspections. The visualisation of objects and structures in a 3D environment, which are difficult to inspect and analyse in situ, brings different perspectives to structural inspections. This paper proposes a new research topic using the digital twin framework for structural inspections. To make it feasible, a digital 3D model of the selected test object is first created using photogrammetry. From the generated 3D model, cracks are then automatically detected by artificial intelligence. The detected cracks are then combined with the 3D model to produce a damage enhanced digital twin. Finally, the damage-enhanced digital twin was transferred to the web-based virtual reality environment and made available to various experts for rapid analysis. In this way, in addition to providing a solution for on-site inspections, a rapid inspection was carried out for various expert opinions. The proposed methodology was applied to a modern building component and the accuracy of the detected cracks, and the geometric accuracy of the 3D model were examined in the accuracy analysis. As a result, the accuracy of automatic crack detection was achieved with an RMSE of 0.97 cm.

Keywords

Structural Inspection, Crack Detection, SfM, Digital Twin, Virtual Reality

References

• Masciotta, M. G., Ramos, L. F., Lourenço, P. B. 2017. The importance of structural monitoring as a diagnosis and control tool in the restoration process of heritage structures: A case study in Portugal. Journal of Cultural Heritage, 27, 36-47.
• Fidan, Ş., Ulvi, A. 2022. Tarsus Aziz Pavlus Kilisesinin Yersel Lazer Tarama Teknikleri ile Üç Boyutlu Modelinin Oluşturularak Sanal Gerçekliğe Hazırlamanın Değerlendirilmesi. Türkiye Lidar Dergisi, 4(2), 60-70.
• De Stefano, A., Matta, E., Clemente, P. 2016. Structural health monitoring of historical heritage in Italy: some relevant experiences. Journal of Civil Structural Health Monitoring, 6, 83-106.
• Gattulli, V., Lepidi, M., Potenza, F. 2016. Dynamic testing and health monitoring of historic and modern civil structures in Italy. Structural Monitoring and Maintenance, 3(1), 71.
• Ubertini, F., Comanducci, G., Cavalagli, N. 2016. Vibration-based structural health monitoring of a historic bell- tower using output-only measurements and multivariate statistical analysis. Structural Health Monitoring, 15(4), 438-457.
• Zeybek, M., Kaya, A. 2020. Tarihi Yığma Kiliselerde Hasarların Fotogrametrik Ölçme Tekniğiyle İncelenmesi: Artvin Tbeti Kilisesi Örneği. Geomatik, 5(1), 47-57.
• Mirdan, O., Yakar, M. 2017. Tarihi eserlerin İnsansız Hava Aracı ile modellenmesinde karşılaşılan sorunlar. Geomatik, 2(3), 118-125.
• Şasi, A., Yakar, M. 2017. Photogrammetric modelling of sakahane masjid using an unmanned aerial vehicle. Turkish Journal of Engineering, 1(2), 82-87.
• Blanco, H., Boffill, Y., Lombillo, I., Villegas, L. 2018. An integrated structural health monitoring system for determining local/global responses of historic masonry buildings. Structural Control and Health Monitoring, 25(8), e2196.
• Yilmaz, I. 2009. A research on the accuracy of landform volumes determined using different interpolation methods. Scientific Research and Essay, 4(11), 1248-1259.
• Yamazaki, F., Liu, W. 2016. Remote sensing technologies for post-earthquake damage assessment: A case study on the 2016 Kumamoto earthquake. 6th ASIA Conference on Earthquake Engineering (6ACEE) 22-24 Eylül, Cebu City, Philippines.
• Hamal, S. N. G., Sarı, B., Ulvi, A. 2020. Using of Hybrid Data Acquisition Techniques for Cultural Heritage a Case Study of Pompeiopolis. Türkiye İnsansız Hava Araçları Dergisi, 2(2), 55-60.
• Şenol, H. İ., Polat, N., Kaya, Y., Memduhoğlu, A., Ulukavak, M. 2021. Digital documentation of ancient stone carving in Şuayip City. Mersin Photogrammetry Journal, 3(1), 10-14.
• Barazzetti, L., Banfi, F., Brumana, R., Oreni, D., Previtali, M., Roncoroni, F. 2015. HBIM and augmented information: towards a wider user community of image and range-based reconstructions. The international archives of the photogrammetry, remote sensing and spatial information sciences, 40, 35-42.
• Hoskere, V., Narazaki, Y., Hoang, T. A., Spencer Jr, B. F. 2018. Towards automated post-earthquake inspections with deep learning-based condition-aware models. The 7th World Conference on Structural Control and Monitoring, 7WCSCM, Temmuz, 22-25, Qingdao, China.
• Jouan, P., Hallot, P. 2019. Digital twin: A HBIM-based methodology to support preventive conservation of historic assets through heritage significance awareness. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 42, 609-615.
• Angjeliu, G., Coronelli, D., Cardani, G. 2020. Development of the simulation model for Digital Twin applications in historical masonry buildings: The integration between numerical and experimental reality. Computers & Structures, 238, 106282.
• Stepinac, M., Lulić, L., Ožić, K. 2022. The role of UAV and laser scanners in the post-earthquake assessment of heritage buildings after the 2020 earthquakes in Croatia. In Advanced Nondestructive and Structural Techniques for Diagnosis, Redesign and Health Monitoring for the Preservation of Cultural Heritage: Selected work from the TMM-CH 2021, Aralık, 167-177, Atena, Grčka
• Rainieri, C., Rosati, I., Cieri, L., Fabbrocino, G. 2022, June). Development of the digital twin of a historical structure for SHM purposes. In European Workshop on Structural Health Monitoring, Haziran, 639-649.
• Levine, N. M., Spencer Jr, B. F. 2022. Post-earthquake building evaluation using UAVs: A BIM-based digital twin framework. Sensors, 22(3), 873.
• Batar, M. 2022. Word-based game development on Android with an efficient graphical data structure. Turkish Journal of Engineering, 6(3), 256-261.
• Tanbour, H., Tanbour, E. 2023. A four-wall virtual reality visualization of patient-specific anatomy: Creating full user immersive experience from computed tomography scans. Turkish Journal of Engineering, 7(2), 134- 140.
• Ernst, F., Akdağ, S., Polat, N., Akaslan, D., Önal, M.., & Ekinci, A. 2024. Development of a virtual reality application for the Old Harran School. International Journal of Engineering and Geosciences, 9(1), 77-85.
• Kaya, Y., Polat, N., Şenol, H. İ., Memduhoğlu, A., Ulukavak, M. 2021. Arkeolojik kalıntıların belgelenmesinde yersel ve İHA fotogrametrisinin birlikte kullanımı. Türkiye Fotogrametri Dergisi, 3(1), 9-14.
• Kaya, Y., Şenol, H. İ., Polat, N. 2021. Three-dimensional modeling and drawings of stone column motifs in Harran Ruins. Mersin Photogrammetry Journal, 3(2), 48-52.
• Yilmaz, M., Uysal, M. 2016. Comparison of data reduction algorithms for Li DAR‐derived digital terrain model generalisation. Area, 48(4), 521-532.
• Yilmaz, M., Uysal, M. 2017. Comparing uniform and random data reduction methods for DTM accuracy. International Journal of Engineering and Geosciences, 2(1), 9-16.
• Erdoğan, A., Görken, M., Kabadayı, A. 2022. Study on the use of unmanned aerial vehicles in open mine sites: a case study of ordu province mine site. Advanced UAV, 2(2), 35-40.
• Kabadayı, A. 2022. Maden sahasının insansız hava aracı yardımıyla fotogrametrik yöntemle haritalanması. Türkiye İnsansız Hava Araçları Dergisi, 4(1), 19-23.
• Ulvi, A. 2018. Analysis of the utility of the unmanned aerial vehicle (UAV) in volume calculation by using photogrammetric techniques. International Journal of Engineering and Geosciences, 3(2), 43-49.
• Seyrek, E. C., Narin, Ö. G., Koçak, T., Uysal, M. 2021. Yüzey araştırmalarında İHA fotogrametrisinin kullanımı: Kolankaya Siperleri örneği. Türkiye Fotogrametri Dergisi, 3(2), 69-75.
• Ulvi, A. 2022. Using UAV photogrammetric technique for monitoring, change detection, and analysis of archeological excavation sites. Journal on Computing and Cultural Heritage (JOCCH), 15(3), 1-19.
• Fernández‐Hernandez, J., González‐Aguilera, D., Rodríguez‐Gonzálvez, P., & Mancera‐Taboada, J. 2015. Image‐ based modelling from unmanned aerial vehicle (UAV) photogrammetry: an effective, low‐cost tool for archaeological applications. Archaeometry, 57(1), 128-145.
• Fonstad, M. A., Dietrich, J. T., Courville, B. C., Jensen, J. L., Carbonneau, P. E. 2013. Topographic structure from motion: a new development in photogrammetric measurement. Earth surface processes and Landforms, 38(4), 421-430.
• Javernick, L., Brasington, J., Caruso, B. 2014. Modeling the topography of shallow braided rivers using Structure-from-Motion photogrammetry. Geomorphology, 213, 166-182.
• Uslu, A., & Uysal, M. 2021. Kitle kaynaklı fotoğraflar kullanılarak kültürel mirasın üç boyutlu modellenmesi ve web tabanlı görselleştirilmesi: Afrodisias-Tetrapylon örneği. Afyon Kocatepe Üniversitesi Fen ve Mühendislik Bilimleri Dergisi, 21(3), 632-639.
• Bryson, M., Johnson-Roberson, M., Murphy, R. J., Bongiorno, D. 2013. Kite aerial photography for low-cost, ultra-high spatial resolution multi-spectral mapping of intertidal landscapes. PloS one, 8(9), e73550.
• Gomez, C., Hayakawa, Y., Obanawa, H. 2015. A study of Japanese landscapes using structure from motion derived DSMs and DEMs based on historical aerial photographs: New opportunities for vegetation monitoring and diachronic geomorphology. Geomorphology, 242, 11-20.
• Akay, S. S., & Özcan, O. 2023. UAV and smartphone-based 3D modeling integration with augmented reality (AR) animation. Advanced UAV, 3(2), 91-99.
• Dietrich, J. T. 2017. Bathymetric structure‐from‐motion: Extracting shallow stream bathymetry from multi‐ view stereo photogrammetry. Earth Surface Processes and Landforms, 42(2), 355-364.
• Şenkal, E., Kaplan, G., Avdan, U. 2021. Accuracy assessment of digital surface models from unmanned aerial vehicles' imagery on archaeological sites. International Journal of Engineering and Geosciences, 6(2), 81-89.
• Ahmadabadian, A. H., Karami, A., Yazdan, R. 2019. An automatic 3D reconstruction system for texture-less objects. Robotics and Autonomous Systems, 117, 29-39.
• Michele, M., Giuseppe, M., Salvatore, Z. 2017. Low cost digital photogrammetry: From the extraction of point clouds by SFM technique to 3D mathematical modeling. In AIP conference proceedings, Temmuz, 1863(1).
• Bentley. 2023. Bentley Context Capture, 2023. Available at https://www.bentley.com/en/products/brands/contextcapture. Accessed 27 April 2024. Online document
• Bentley. 2023. Context Capture User Guide, 2023. Available at https://docs.bentley.com/LiveContent/index.html. Accessed 27 April 2024. Online document
• Fryskowska-Skibniewska, A., Delis, P., Kedzierski, M., Matusiak, D. 2022. The conception of test fields for fast geometric calibration of the FLIR VUE PRO thermal camera for low-cost UAV applications. Sensors, 22(7), 2468.
• Uray, F., Varlık, A., Metin, A. 2018. Üç Boyutlu Kent Modellerinde Ayrıntı Düzeyi Kavramı İnce Minareli Medrese (Konya) Örneği. Geomatik, 3(1), 74-83.
• Buhur, S., Uluğtekin, N., Gümüşay, M. Ü., Musaoğlu, N. 2023. Turistik amaçlı mekânsal sanal ortamların oluşturulması: Tarihi Yarımada Örneği. Geomatik, 8(2), 99-106.
• Zhang, A., Wang, K. C., Li, B., Yang, E., Dai, X., Peng, Y., Chen, C. 2017. Automated pixel‐level pavement crack detection on 3D asphalt surfaces using a deep‐learning network. Computer‐Aided Civil and Infrastructure Engineering, 32(10), 805-819.
• Debroy, S., Sil, A. 2022. An apposite transfer-learned DCNN model for prediction of structural surface cracks under optimal threshold for class-imbalanced data. Journal of Building Pathology and Rehabilitation, 7(1), 83.
• Park, D. 2023. Stability evaluation of rock slopes with cracks using limit analysis. Rock Mechanics and Rock Engineering, 1-19.
• Fu, Y., Downey, A. R., Yuan, L., Zhang, T., Pratt, A., Balogun, Y. 2022. Machine learning algorithms for defect detection in metal laser-based additive manufacturing: A review. Journal of Manufacturing Processes, 75, 693-710.
• Zeng, S., Chen, J., Cho, Y. K. 2020. User exemplar-based building element retrieval from raw point clouds using deep point-level features. Automation in Construction, 114, 103159.
• Al-Thelaya, K., Gilal, N. U., Alzubaidi, M., Majeed, F., Agus, M., Schneider, J., Househ, M. 2023. Applications of discriminative and deep learning feature extraction methods for whole slide image analysis: A survey. Journal of Pathology Informatics, 14, 100335.
• Araz, G. 2021. Doğa görünümlerinin sanal uzaya yansımasının dijital sanat bağlamında incelenmesi. Anadolu Üniversitesi, Güzel Sanatlar Enstitüsü, Yüksek Lisans Tezi, Kayseri.
• Karaca, Ş., Önem, E. Ö. 2023. Dijital ikiz teknolojisinin turizm sektöründe kullanım alanları ve etkileri. Kayseri Üniversitesi Sosyal Bilimler Dergisi, 5(2), 158-168.
• Aytekin, P., Yakın, V., Çelik, B. H. 2020. Artırılmış gerçeklik teknolojisinin pazarlamadaki yeri. AJIT-e: Academic Journal of Information Technology, 10(39), 87-117.
• Yiğit, A. Y., Uysal, M. 2023. Dijital ikizlerin geliştirilmesinde fotogrametrinin kullanımı ve artırılmış gerçeklik ile görselleştirilmesi. Niğde Ömer Halisdemir Üniversitesi Mühendislik Bilimleri Dergisi, 12(4), 1-1.
• Akay, S. S. 2023. İHA Tabanlı 3 Boyutlu Verilere Farklı Perspektiflerde Bakış: İTÜ Ayazağa Kampüsü. Turkish Journal of Remote Sensing and GIS, 4(1), 47-63.
• Uluçay, A., Küçük, U. F. 2023. Tarih Öğretiminde Sanal Gerçeklik ve Artırılmış Gerçeklik: Geçmişi Canlandırmak İçin Yeni Yollar. Niğde Ömer Halisdemir Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 5(2), 113-129.
• Hocaoğlu, M. M. 2022. Yapı Bilgi Modelleme'den Dijital İkiz'e doğru: akıllı tesis yönetimini etkinleştirme. Mimar Sinan Güzel Sanatlar Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, İstanbul.
• Südor, S. 2021. Dijital Sanatlarda 3d Model Oluşturma Tekniklerinin Kullanımı. İdil Sanat ve Dil Dergisi, 10(88), 1757-1779.
• Askar, C., Sternberg, H. 2023. Use of Smartphone Lidar Technology for Low-Cost 3D Building Documentation with iPhone 13 Pro: A Comparative Analysis of Mobile Scanning Applications. Geomatics, 3(4), 563-579.
• Mouzakis, C., Ververidis, D., Girao, L. M., Patz, N., Nikolopoulos, S., Kompatsiaris, I. 2021. Holistic requirements analysis for specifying new systems for 3D media production and promotion. Sustainability, 13(15), 8155.
• Onyıl, H. İ., & Yılmaz, M. 2022. Web tabanlı mekânsal analizlerin açık kaynak kodlu yazılımlar ile gerçekleştirilmesi. Geomatik, 7(1), 52-57.
• Aydın, M., İralı, A. E., Kartoğlu, N. U., Yılmaz, P. Ü., Atılgan, N. 2023. Kültürel Mirasın Tanıtımına ve Korunmasına Yönelik Farkındalığa Odaklı Sayısallaştırma Süreci Eğitimlerinin Etkisinin İncelenmesi: KÜMSA Örneği. 9. Uluslararası Tarih Eğitimi Sempozyumu. 6-8 Eylül, Sakarya, Türkiye
• Özcan, O., Akay, S. S. 2022. Paşabağ Bölgesi Peri Bacalarına Ait İha Tabanlı 3b Verilerin Metaverse Kavramı Kapsamında Değerlendirilmesi. VIII Uzaktan Algılama-CBS Sempozyumu, 17-19 Kasım 2022, Ankara
• Yiğit, A. Y., Uysal, M. 2024, Automatic Crack Detection and Structural Inspection of Cultural Heritage Buildings Using UAV Photogrammetry and Digital Twin Technology. Journal of Building Engineering, Article number 109952.
• Sketchfab. 2023. Sketchfab WEB sitesi. https://sketchfab.com/