The Use of Smartphones in 3D Modeling of Human Face

Öz

The purchase costs of metric cameras and photogrammetric camera lenses are quite high. In contrast, smartphones provide an easily accessible and cost-effective data collection opportunity for users. In this regard, smartphones, when integrated with photogrammetry, provide flexibility to 3D modeling processes and offer a low-cost solution. SfM (Structure from Motion) is known as a photogrammetric image matching method and is used to analyze the structural properties of objects and create 3D models. The aim of the study is to produce a realistic and digital 3D face model with minimum workload from photo sets obtained using a consumer-grade digital camera. In this study, human face data was collected using an iPhone 14 Pro Max smartphone. The data were modeled in 3Dsurvey software on a work computer. At the end of the application, a realistic 3D model of the human face was obtained. It was found that the realism of the 3D model depends on the lighting conditions of the photo shooting environment, the shooting angle and the amount of overlay, the immobility of the target object, background and environmental factors.

Anahtar Kelimeler

• 3-dimensional modeling
• smartphones
• SfM
• 3-dimensional survey

İnsan Yüzünün 3 Boyutlu Modellenmesinde Akıllı Telefonların Kullanılması

Öz

Metrik fotoğraf makinelerinin ve fotogrametrik kamera lenslerinin satın alma maliyetleri oldukça yüksektir. Bunun aksine akıllı telefonlar, kullanıcılar tarafından kolay ulaşılabilir ve uygun maliyetli bir veri toplama imkânı sağlamaktadır. Bu doğrultuda akıllı telefonlar, fotogrametriyle bütünleştirildiğinde 3B modelleme süreçlerine esneklik sağlamakta, düşük maliyetli bir çözüm sunmaktadır. SfM (Structure from Motion), fotogrametrik görüntü eşleştirme yöntemi olarak bilinmekte, nesnelerin yapısal özelliklerini analiz etmek ve 3B modeller oluşturmak için kullanılmaktadır. Çalışmada tüketici sınıfı bir dijital kamera kullanılarak elde edilen fotoğraf kümelerinden minimum iş yüküyle gerçekçi ve dijital 3B yüz modelinin üretilmesi amaçlanmaktadır. Bu çalışmada, iPhone 14 Pro Max akıllı telefon kullanılarak insan yüzüne ait veriler toplanmıştır. Veriler bir iş bilgisayarında 3Dsurvey yazılımında modellenmiştir. Uygulama sonunda insan yüzünün gerçekçi 3B modeli elde edilmiştir. Elde edilen 3B modelin gerçekçiliğinin, fotoğraf çekim ortamının ışık koşullarına, çekim açısına ve bindirme miktarına, hedef nesnenin hareketsizliğine, arka plan ve çevresel faktörlere bağlı olduğu tespit edilmiştir.

Anahtar Kelimeler

• 3 boyutlu modelleme
• akıllı telefonlar
• SfM
• 3 boyutlu ölçüm

Kaynakça

1. Akan, B., Akan, E., Şahan, A. O., & Kalak, M. (2021). Evaluation of 3D Face-Scan images obtained by stereophotogrammetry and smartphone camera. International orthodontics, 19(4), 669-678.
2. Alagha, M. A., Ayoub, A., Morley, S., & Ju, X. (2022). Objective grading facial paralysis severity using a dynamic 3D stereo photogrammetry imaging system. Optics and Lasers in Engineering, 150, 106876.
3. Alptekin, A., Fidan, Ş., Karabacak, A., Çelik, M. Ö., & Yakar, M. (2019). Üçayak Örenyeri'nin yersel lazer tarayıcı kullanılarak modellenmesi. Türkiye Lidar Dergisi, 1(1), 16-20.
4. Barbero-García, I., Lerma, J. L., & Mora-Navarro, G. (2020). Fully automatic smartphone-based photogrammetric 3D modelling of infant’s heads for cranial deformation analysis. ISPRS Journal of Photogrammetry and Remote Sensing, 166, 268-277.
5. Fidan, D., & Fidan, Ş. (2021). Yersel Lazer Tarama Teknolojileriyle Oluşturulan 3B Modellerin Akıllı Kent Uygulamalarında Kullanımı: Mersin Süslü Çeşme Örneği. Türkiye Lidar Dergisi, 3(2), 48-57.
6. Fidan, Ş., & Ulvi, A., (2022). Tarsus Aziz Pavlus kilisesinin yersel lazer tarama teknikleri ile üç boyutlu modelinin oluşturularak sanal gerçekliğe hazırlamanın değerlendirilmesi. Türkiye Lidar Dergisi, 4(2), 60-70.
7. Fidan, Ş., Ulvi, A., Yiğit, A. Y., Hamal, S. N. G., & Yakar, M. (2023). Combination of Terrestrial Laser Scanning and Unmanned Aerial Vehicle Photogrammetry for Heritage Building Information Modeling: A Case Study of Tarsus St. Paul Church. Photogrammetric Engineering & Remote Sensing, 89(12), 753-760.
8. Iglhaut, J., Cabo, C., Puliti, S., Piermattei, L., O’Connor, J., & Rosette, J. (2019). Structure from motion photogrammetry in forestry: A review. Current Forestry Reports, 5, 155-168.

9. Kaya, Y., & Temel, D. (2022). Cep Telefonu Kameralarından Elde Edilen Görüntüler ile Kültürel Miras Eserlerinin Modellenmesi. Türkiye Fotogrametri Dergisi, 4(1), 17-22.
10. Lauria, G., Sineo, L., & Ficarra, S. (2022). A detailed method for creating digital 3D models of human crania: an example of close-range photogrammetry based on the use of structure-from-motion (SfM) in virtual anthropology. Archaeological and Anthropological Sciences, 14(3), 42.
11. Matuzevičius, D., & Serackis, A. (2021). Three-dimensional human head reconstruction using smartphone-based close-range video photogrammetry. Applied Sciences, 12(1), 229.
12. Sefercik, U. G., Tanrukulu, F., & Aatalay, C. (2020). Sfm tabanlı yeni nesil görüntü eşleştirme yazılımlarının fotogrametrik 3B modelleme potansiyellerinin karşılaştırması. Türkiye Fotogrametri Dergisi, 2(2), 39-45.
13. Seyrek, E. C., Narin, Ö. G., & Eroğlu, M. M. (2022). Nokta Bulutu Üretiminde Cep Telefonu ve DSLR Fotoğraf Makinesi Kullanımının Araştırılması. Türkiye Fotogrametri Dergisi, 4(1), 23-29.
14. Statham, W. (2020). Use of photogrammetry in video games: a historical overview. Games and Culture, 15(3), 289-307.
15. Ulvi, A. (2021). Documentation, Three-Dimensional (3D) Modelling and visualization of cultural heritage by using Unmanned Aerial Vehicle (UAV) photogrammetry and terrestrial laser scanners. International Journal of Remote Sensing, 42(6), 1994-2021.
16. Ulvi, A., & Yiğit, A. Y. (2020). 3D Modelling of Kayseri Tekgoz Bridge. Mersin Photogrammetry Journal, 2(1), 29-32.
17. Ulvi, A., Yiğit, A. Y., & Yakar, M. (2023). Modeling of ancient period Sarcophagus with close-range photogrammetry. Intercontinental Geoinformation Days, 6, 317-320.
18. Uzun, S. D., HAMAL, S. N. G., & Fidan, Ş. (2022). Elde Taşınabilir Lazer Tarayıcılar ile İnsan Yüzünün Modellenerek Güzellik ve Bakım Sektöründe Kullanımının Değerlendirilmesi. Türkiye Lidar Dergisi, 4(1), 17-20.
19. Van Lint, L., Christiaens, L., Stroo, V., Bila, M., Willaert, R., Sun, Y., & Van Dessel, J. (2023). Accuracy comparison of 3D face scans obtained by portable stereophotogrammetry and smartphone applications. Journal of Medical and Biological Engineering, 43(5), 550-560.
20. Westoby, M. J., Brasington, J., Glasser, N. F., Hambrey, M. J., & Reynolds, J. M. (2012). ‘Structure-from-Motion’photogrammetry: A low-cost, effective tool for geoscience applications. Geomorphology, 179, 300-314.
21. Yiğit, A. Y., & Uysal, M. (2021). Tarihi eserlerin 3B modellenmesi ve artırılmış gerçeklik ile görselleştirilmesi. Bilecik Şeyh Edebali Üniversitesi Fen Bilimleri Dergisi, 8(2), 1032-1043.
22. Yiğit, A. Y., & Uysal, M. (2023). Dijital ikizlerin geliştirilmesinde fotogrametrinin kullanımı ve artırılmış gerçeklik ile görselleştirilmesi. Niğde Ömer Halisdemir Üniversitesi Mühendislik Bilimleri Dergisi, 12(4), 1-1.
23. Yiğit, A. Y., Ulvi, A., & VAROL, F. (2020). Artırılmış Gerçeklik Uygulaması ile Kültürel Mirasın 3 Boyutlu Belgelenmesi: Özbekistan Chashma-Ayub Türbesi Örneği. Journal of Tourism & Gastronomy Studies, 8(4), 3155-3172.
24. Yılmaztürk, F., & Gürbak, A. E. (2018). Yakın resim fotogrametrisinde cep telefonu kameralarının kullanımının araştırılması. Harita Dergisi, 159, 44-51.
25. Zeraatkar, M., & Khalili, K. (2020). A fast and low-cost human body 3D scanner using 100 cameras. Journal of Imaging, 6(4), 21.