Hafif Evrişimsel Sinir Ağları Kullanılarak Sahte Yüz Görüntülerinin Tespiti

Year 2022, , 1282 - 1289, 31.12.2022

Emre Şafak , Necaattin Barışçı

https://doi.org/10.31202/ecjse.1133527

Cited By: 2

Abstract

Sahte yüz bulunan görüntü ve video içerikleri en yaygın dijital manipülasyon türüdür. Genellikle eğlence amaçlı üretilen bu içerikler zararlı sonuçlar doğurabilir. Sahte yüz görüntüsü üretiminde makine öğrenmesi algoritmaları kullanılmaya başlanmıştır. Makine öğrenmesi algoritmaları ile gerçeğe oldukça yakın yüz manipülasyonları yapılabilmektedir. Bu nedenle gerçek ile sahte içeriklerin ayırt edilebilmesi oldukça zorlaşmıştır. Yüz manipülasyonları tüm yüz sentezi, kimlik değiştirme, nitelik manipülasyonu ve ifade değiştirme olmak üzere 4 temel gruba ayrılır. Tüm yüz sentezi ile çekişmeli üretici ağlar kullanılarak gerçekte olmayan yüzler üretilmektedir. Kimlik değiştirme video içerisindeki kişinin yüz görüntüsünün başka bir yüz ile değiştirilmesidir. Nitelik manipülasyonu yüzün cilt, cinsiyet, yaş, gözlük, saç rengi vb. özelliklerinin değiştirilmesidir. İfade değiştirme manipülasyon yöntemi kişinin yüz ifadesinin değiştirilmesidir. Yapılan çalışmada tüm yüz sentezi manipülasyon yöntemi ile üretilen sahte yüz görüntülerinin tespiti için hafif evrişimsel sinir ağları kullanılmıştır. Eğitim işlemi için MobileNet, MobileNetV2, EfficientNetB0 ve NASNetMobile algoritmaları kullanılmıştır. Kullanılan veri setinde FFHQ veri setindeki 70.000 gerçek görüntü ile FFHQ veri seti kullanılarak StyleGAN2 ile üretilen 70.000 sahte görüntü yer almaktadır. Eğitim işleminde modellerin ImageNet veri seti üzerinde eğitilmiş ağırlıkları transfer öğrenme ile tekrar kullanılmıştır. EfficientNetB0 algoritmasında %93,64 başarı oranı ile en yüksek doğruluk oranına ulaşılmıştır.

Keywords

Sahte Yüz Tespiti, Yüz Manipülasyon Tespiti, Hafif Model, Derin Öğrenme, Transfer Öğrenme

Detection of Fake Face Images Using Lightweight Convolutional Neural Networks

Abstract

Fake face images and videos are the most common type of digital manipulation. These content which are usually produced for entertainment purposes can have harmful consequences. Machine learning algorithms have started to be used in recent applications in fake face image processing. With machine learning algorithms, realistic facial manipulations can be made. Therefore, it has become very difficult to distinguish between real and fake content. Face manipulations are divided into 4 basic groups; entire face synthesis, face identity manipulation (deepfake), facial attribute manipulation, and facial expression manipulation. Faces that are not real are produced using entire face synthesis generative adversarial networks. In the identity change method the face image of the person in the video is replaced with another face. Attribute manipulation of face can be changed by skin, gender, age, glasses, hair color, etc. changing its properties. Expression manipulation method is to change the facial expression of the person. In this study, lightweight convolutional neural network algorithms were used to detect fake face images produced by entire face synthesis manipulation method. MobileNet, MobileNetV2, EfficientNetB0 and NASNetMobile algorithms were used for the training process. The dataset used includes 70,000 real images in the FFHQ dataset and 70,000 fake images produced with StyleGAN2 using the FFHQ dataset. In the training process, the weights of the models trained on the ImageNet dataset were reused with transfer learning. In the EfficientNetB0 algorithm, the highest accuracy rate was achieved with a accuracy of 93.64%.

Keywords

Fake Face Detection, Face Manipulation Detection, Lightweight Model, Deep Learning, Transfer Learning

References

• S. Pashine, S. Mandiya, P. Gupta and R. Sheikh, “Deep Fake Detection : Survey of Facial Manipulation Detection Solutions”, arXiv preprint arXiv:2106.126, 2021.
• R. Wang, F. Juefei-Xu, L. Ma, X. Xie, Y. Huang, J. Wang and Y. Liu, “FakeSpotter: A Simple yet Robust Baseline for Spotting AI-Synthesized Fake Faces”, arXiv preprint arXiv:1909.06122, 2020.
• R. Tolosana, R. Vera-Rodriguez, J. Fierrez, A. Morales and Ortega-Garcia, “Deepfakes and beyond: A Survey of face manipulation and fake detection”, Information Fusion, vol. 64, pp. 131-148, 2020.
• H.-S. Chen, M. Rouhsedaghat, H. Ghani, S. Hu, S. You and C.-C. J. Kuo, “DefakeHop: A Light-Weight High-Performance Deepfake Detector”, arXiv preprint arXiv:2103.06929, 2021.
• R. Tolosana, S. Romero-Tapiador, J. Fierrez and R. Vera-Rodriguez, “DeepFakes Evolution: Analysis of Facial Regions and Fake Detection Performance”, arXiv preprint arXiv:2004.07532, 2020.
• StyleGAN2, [online] Available: https://github.com/NVlabs/stylegan2 [Accesed: 21.2.2022].
• Flickr-Faces-HQ Dataset (FFHQ), [online] Available: https://github.com/NVlabs/ffhq-dataset [Accesed: 21.2.2022].
• T. Karras, S. Laine, M. Aittala, J. Hellsten, J. Lehtinen and T. Aila, “Analyzing and Improving the Image Quality of StyleGAN”, arXiv preprint arXiv:1912.04958, 2020.
• A. Rácz, D. Bajusz and K. Héberger, “Effect of Dataset Size and Train/Test Split Ratios in QSAR/QSPR Multiclass Classification”, Molecules, vol. 26, no. 4, 2021.
• S. Albawi, T. A. Mohammed and S. Al-Zawi, "Understanding of a convolutional neural network," 2017 International Conference on Engineering and Technology (ICET), pp. 1-6, 2017.
• E. Şafak and N. Barışçı, “Age and Gender Prediction Using Convolutional Neural Networks”, 2018 2nd International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT), Ankara-Türkiye, 19-21 Ekim, 2018.
• A. Arı and D. Hanbay, “Tumor detection in MR images of regional convolutional neural networks “ , Journal of the Faculty of Engineering and Architecture of Gazi University, vol. 34, no. 3 1395-1408, 2019.
• A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto and H. Adam, “MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications”, arXiv preprint arXiv:1704.04861, 2017.
• M. Sandler, A. Howard, M. Zhu, A. Zhmoginov and L. C. Chen, “MobileNetV2: Inverted Residuals and Linear Bottlenecks”, arXiv preprint arXiv:1801.04381, 2019.
• B. Zoph, V. Vasudevan, J. Shlens and Q. V. Le, “Learning Transferable Architectures for Scalable Image Recognition”, arXiv preprint arXiv:1707.07012, 2018.
• F. Saxen, P. Werner, S. Handrich, E. Othman, L. Dinges and A. Al-Hamadi, "Face Attribute Detection with MobileNetV2 and NasNet-Mobile," 2019 11th International Symposium on Image and Signal Processing and Analysis (ISPA), pp. 176-180, 2019.
• M. Tan and Q.V. Le, “EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks”, arXiv preprint arXiv:1905.11946, 2019.
• S. Bozinovski and A. Fulgosi, “The influence of pattern similarity and transfer of learning upon training of a base perceptron B2”, Proc. Symp. Informatica 3-121-5, Bled, 1976.
• F. Zhuang , Z. Qi, K. Duan, D. Xi, Y. Zhu, H. Zhu, H. Xiong and Q. He, “A Comprehensive Survey on Transfer Learning”, IEEE, vol. 109, no. 1, pp. 43-76, 2021.
• Tensorflow, [online] Available: https://www.tensorflow.org/ [Accesed: 21.2.2022].