The Effect of Virtual Reality Images on Artificial Intelligence Classification of Real Environment Images

Year 2025, Volume: 20 Issue: 1, 269 - 279, 27.03.2025

Nur Özbek , Berna Gürler Arı , Sevgi Öztorun , Ömer Faruk Alçin

https://doi.org/10.55525/tjst.1603517

Abstract

Since virtual reality (VR) is a new and current field of study, it is intensively studied by researchers. Health, education, engineering, culture and tourism, architecture, military fields and many other fields of study have taken steps to support their studies with VR technology and the related subject has become the focus of many researchers. In this thesis, VR technology was used to improve the classification performance of real media images. The proposed approach consists of the classification of real environment images with transfer learning. The transfer learning mentioned in the thesis study can be defined as training an untrained deep architecture with VR images and then retraining the network with real images (fine-tuning). For this purpose, VR scenes are designed in the UNITY environment. A dataset consisting of 15 environments, called V-Env15, was prepared from the designed VR scenes. The proposed approach was tested with the Scene-15 dataset, which is frequently used in environment classification studies. In the thesis, serial and parallel network and GoogLeNet and Inception-ResNet-V2 deep learning architectures were used. In the experimental studies, 0.56% higher accuracy performance increase was achieved in the serial architecture and 4.68% higher accuracy performance increase in parallel architecture. A 4.79% accuracy performance increase was achieved between GoogLeNet and the Serial network, and a 0.44% decrease was achieved between the Parallel network. A 4.47% increase was achieved between Inception-ResNet-V2 and the Serial network, and a 4.57% decrease was achieved between the Parallel network.

Keywords

Virtual Reality, Machine Learning, Image Processing, Environment Classification.

Gerçek Ortam Görüntülerinin Yapay Zekâ ile Sınıflandırılmasında Sanal Gerçeklik Görüntülerinin Etkisi

Abstract

Sanal gerçeklik (SG) yeni ve güncel bir çalışma alanı olduğundan araştırmacılar tarafından yoğun şekilde çalışılmaktadır. Sağlık, eğitim, mühendislik, kültür ve turizm, mimari, askeri alanlar ve daha birçok çalışma alanı SG teknolojisi ile çalışmalarını destekleyici adımlar atmış ve ilgili konu birçok araştırmacının odağı haline gelmiştir. Bu çalışmada gerçek ortam görüntülerinin sınıflandırma başarımını artırmak için SG teknolojisinden yararlanılmıştır. Önerilen yaklaşım transfer öğrenme ile gerçek ortam görüntülerinin sınıflandırılması işleminden oluşmaktadır. İlgili çalışmada bahsedilen transfer öğrenme, eğitilmemiş bir derin mimarinin SG görüntüleri ile eğitilmesi ardından ağın gerçek görüntülerle yeniden eğitimi (fine-tuning) olarak tanımlanır. UNITY ortamında tasarlanan SG sahnelerinden V-Env15 olarak isimlendirilen ve 15 ortamdan oluşan bir veri seti hazırlanmıştır. Ortam sınıflama çalışmalarında sıklıkla kullanılan Scene-15 veri seti ile önerilen yaklaşım test edilmiştir. Çalışmada tasarlanan Seri ve Paralel ağ ile GoogLeNet ve Inception-ResNet-V2 derin öğrenme mimarileri kullanılmıştır. Deneysel çalışmalarda tasarladığımız seri mimaride %0,56 ve paralel mimaride ise %4,68 daha yüksek doğruluk performans artışı elde edilmiştir. GoogLeNet ile Seri ağ arasında performasn doğruluğu açısından %4,79 artış, Paralel ağ arasında %0,44 azalma elde edilmiştir. Inception-ResNet-V2 ile Seri ağ arasında %4,47 artış, Paralel ağ arasında %4,57 azalma elde edilmiştir.

Keywords

Sanal Gerçeklik, Makine Öğrenmesi, Görüntü İşleme, Ortam Sınıflandırma

References

• Çavuş Ö. Semantic Scene Classification for Content-Based Image Retrieval. Doktora Tezi, Bilkent Üniversitesi, Türkiye, 2008.
• Karabulut A. Bayes Tabanlı Sahne Sınıflandırması. Yüksek Lisans Tezi, Hacettepe Üniversitesi, Türkiye, 2006.
• Torralba A, Murphy KP, Freeman WT, Rubin MA. Context-based vision system for place and object recognition. Proceedings of the IEEE International Conference on Computer Vision; Ekim 2003; IEEE Computer Society. s. 273-273.
• Meldrum D, Glennon A, Herdman S, Murray D, McConn-Walsh R. Virtual reality rehabilitation of balance: assessment of the usability of the Nintendo Wii® Fit Plus. Disabil Rehabil Assist Technol 2012; 7(3): 205-210.
• Song H, Chen F, Peng Q, Zhang J, Gu P. Improvement of user experience using virtual reality in open-architecture product design. Proc Inst Mech Eng B J Eng Manuf 2018; 232(13): 2264-2275.
• Boas YAGV. Overview of virtual reality technologies. Proceedings of the Interactive Multimedia Conference; Ağustos 2013.
• Szummer M, Picard RW. Indoor-outdoor image classification. Proceedings of the IEEE International Workshop on Content-based Access of Image and Video Databases; 1998.
• Fei-Fei L, Perona P. A Bayesian hierarchical model for learning natural scene categories. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition; 2005; Cilt 2. s. 524-531.
• Vailaya A, Figueiredo MAT, Jain AK, Zhang HJ. Image classification for content-based indexing. IEEE Trans Image Process 2001; 10(1): 117–130.
• Bird JJ, Faria DR, Ekárt A, Ayrosa PP. From simulation to reality: CNN transfer learning for scene classification. Proceedings of the IEEE 10th International Conference on Intelligent Systems; Ağustos 2020. s. 619-625.
• Herranz L, Jiang S, Li X. Scene recognition with CNNs: objects, scales and dataset bias. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition; 2016. s. 571–579.
• Karadağ B, Arı A, Karadağ M. Derin öğrenme modellerinin sinirsel stil aktarımı performanslarının karşılaştırılması. Politeknik Dergisi 2021; 24(4): 1611-1622.
• Arı B. Kayısı Yapraklarının Evrişimsel Sinir Ağları Kullanılarak Sınıflandırılması. Yüksek Lisans Tezi, Fen Bilimleri Enstitüsü, 2022.
• Arı A. Derin Öğrenme Tabanlı Beyin MR Görüntülerinden Beyin Tümörlerinin Tespit Edilmesi ve Sınıflandırılması. Doktora Tezi, İnönü Üniversitesi, Malatya, 2019.
• Özküçük M, Alçin ÖF, GENÇOĞLU M. EMG sinyalleri kullanılarak GoogLeNet ve çok seviyeli DPD ile el tutma hareketlerinin sınıflandırılması. Fırat Üniversitesi Mühendislik Bilimleri Dergisi 2022; 34(1): 33-43.
• Szegedy C, Vanhoucke V, Ioffe S, Shlens J, Wojna Z. Rethinking the inception architecture for computer vision. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition; 2016. s. 2818-2826.
• Oliva A, Torralba A. Modeling the shape of the scene: A holistic representation of the spatial envelope. Int J Comput Vis 2001.
• Lazebnik S, Schmid C, Ponce J. Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition; 2006.
• Arı B. Medikal Veri Setleri için Yeni Bir Aşırı Öğrenme Makinesi Otomatik Kodlayıcı Tasarımı. Doktora Tezi, Fırat Üniversitesi, Elazığ, 2022.
• Donuk K, Arı A, Hanbay D. A CNN based real-time eye tracker for web mining applications. Multimed Tools Appl 2022; 81(27): 39103-39120.
• Turkoglu M, Aslan M, Arı A, Alçin ZM, Hanbay D. A multi-division convolutional neural network-based plant identification system. PeerJ Comput Sci 2021; 7: e572.