Derin özniteliklerin farklı atak senaryolarındaki yüz sahteciliği tespiti başarımlarının incelenmesi

Year 2024, , 164 - 178, 15.03.2024

Asuman Günay Yılmaz , Fırat Şakar

https://doi.org/10.17714/gumusfenbil.1288281

Abstract

Günümüzde yüz tanıma sistemlerinin kullanımının çoğalmasıyla birlikte bu sistemlere karşı yapılan saldırılar da artmıştır. Özellikle artan sosyal medya kullanımı ile yüz görüntü ve videolarının paylaşımının artışı, saldırganların bu içeriği kullanarak yüz tanıma sistemlerini daha kolay kandırmasına imkân sağlamaktadır. Bu nedenle yüz sahteciliği tespiti (YST) konusu oldukça önemli bir çalışma alanı haline gelmiştir. Yüz sahteciliği saldırıları çeşitli türlerde gerçekleştirilmektedir. Genellikle çalışmalarda tüm atak türlerinin birlikte değerlendirildiği senaryolar üzerinde başarım değerlendirilmesi yapılmaktadır. Bu nedenle bu çalışmada Replay-Attack veri setindeki Basılı Fotoğraf (Printed Photo), Dijital Fotoğraf (Digital Photo) ve Video Oynatma (Replay Video) saldırı türlerinde derin öğrenme yöntemlerinin YTS başarımları değerlendirilmiştir. Bu amaçla ilk aşamada VGG16, DenseNet121 ve MobileNet derin ağ mimarilerinin bu saldırı türlerindeki YST başarımları incelenmiştir. İkinci aşamada her bir ağın ürettiği derin özniteliklerin klasik makine öğrenmesi yöntemi olan destek vektör makineleri (Support Vector Machines – SVM) ile sınıflandırılması sonucu YST başarımlarındaki değişim incelenmiştir. Son olarak VGG16, DenseNet121 ve MobileNet ağlarının ürettikleri derin öznitelikler birleştirilerek (öznitelik seviyesinde birleştirme - feature level fusion) tüm saldırı türleri için SVM ile gerçek/sahte sınıflandırması gerçekleştirilmiştir. Yapılan deney sonuçlarına göre derin özniteliklerin ya da birleşimlerinin SVM ile sınıflandırılması saldırı türüne göre YST başarımını artırmaktadır.

Keywords

Derin öğrenme, Sınıflandırma, Yüz sahteciliği tespiti

Investigation of face spoofing detection performances of deep features in different attack scenarios

Abstract

Today, the use of face recognition systems and attacks against these systems have increased. Especially with the increasing use of social media, the increase in the sharing of facial images and videos allows attackers to deceive facial recognition systems more easily. For this reason, face spoofing detection has become a very important field of study. Face spoofing attacks are carried out in various types. Generally, performance evaluations are made on scenarios in which all attack types are evaluated together. Therefore, in this study, face spoofing detection performances of deep learning methods in Printed Photo, Digital Photo and Replay Video attack types in the Replay-Attack dataset were evaluated. For this purpose, the face spoofing detection performances of VGG16, DenseNet121 and MobileNet deep network architectures were examined. Then, the change in face spoofing detection performances because of classification of deep features produced by each network with support vector machines (SVM) was examined. Finally, the deep features produced by VGG16, DenseNet121 and MobileNet networks were combined (feature level fusion) and real/fake classification was performed for all attack types with SVM. According to the results, the classification of deep features or their combinations with SVM increases the performance of face spoofing detection according to the attack type.

Keywords

Deep learning, Classification, Face spoofing detection

References

• Agarwal, A., Singh, R., & Vatsa, M. (2016). Face anti-spoofing using Haralick features. 2016 IEEE 8th International Conference on Biometrics Theory, Applications and Systems (BTAS 2016), (pp. 1-6), Niagara Falls, NY, USA. https://doi.org/10.1109/ BTAS.2016.7791171
• Alotaibi, A., & Mahmood, A. (2017). Deep face liveness detection based on nonlinear diffusion using convolution neural network. Signal, Image and Video Processing ,11, 713–720. https://doi.org/10.1007/s11760-016-1014-2
• Anjos, A., Chakka, M.M., & Marcel, S. (2014) Motion-based counter-measures to photo attacks in face recognition. IET Biometrics, 3, 147-158. https://doi.org/10.1049/iet-bmt.2012.0071
• Boulkenafet, Z., Komulainen, J., & Hadid, A. (2016). Face spoofing detection using colour texture analysis. IEEE Transactions on Information Forensics and Security, 11(8), 1818-1830. https://doi.org/10.1109/TIFS.2016.2555286
• Boulkenafet, Z., Komulainen, J., & Hadid, A. (2017). Face antispoofing using speeded-up robust features and fisher vector encoding. IEEE Signal Processing Letters, 24, 141-145. https://doi.org/10.1109/LSP.2016.2630740
• Chingovska, I., Anjos, A., & Marcel, S. (2012). On the effectiveness of local binary patterns in face anti-spoofing, Proceedings of the International Conference of Biometrics Special Interest Group (BIOSIG), (pp. 1-7), Darmstadt, Germany.
• Einy, S. Oz, C., & Navaei, Y.D. (2021). IoT cloud-based framework for face spoofing detection with deep multicolor feature learning model. Journal of Sensors. https://doi.org/10.1155/2021/5047808
• Galbally, J., Marcel, S., & Fierrez, J. (2014). Image quality assessment for fake biometric detection: application to iris, fingerprint, and face recognition. IEEE Transactions on Image Processing, 23, 710-724. https://doi.org/10.1109/TIP.2013.2292332
• Gan, J. Li, S., Zhai, Y., & Liu, C. (2017). 3D Convolutional neural network based on face anti-spoofing, 2017 2nd International Conference on Multimedia and Image Processing (ICMIP), (pp. 1-5), Wuhan, China. https://doi.org/10.1109/ICMIP.2017.9
• King, D. E. (2009). Dlib-ml: A machine learning toolkit. The Journal of Machine Learning Research, 10, 1755–1758. https://dl.acm.org/doi/10.5555/1577069.1755843
• Korkmaz, Ş., & Alkan, M. (2023). Derin öğrenme algoritmalarını kullanarak deepfake video tespiti. Politeknik Dergisi, 26(2), 855-862. https://doi.org/10.2339/politeknik.1063104
• Le, K. (2021, Mar 25). An overview of VGG16 and NiN models. https://medium.com/mlearning-ai/an-overview-of-vgg16-and-nin-models-96e4bf398484
• Liu, Y., Stehouwer, J., Jourabloo, A., & Liu, X. (2019). Deep tree learning for zero-shot face anti-spoofing. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), (pp. 4680-4689), Long Beach, CA, USA. https://10.1109/CVPR.2019.00481
• Määttä, J., Hadid, A., & Pietikäinen, M. (2011). Face spoofing detection from single images using micro-texture analysis. 2011 International Joint Conference on Biometrics (IJCB), (pp. 1-7), Washington, DC, USA. doi: 10.1109/IJCB.2011.6117510.
• Määttä, J., Hadid, A., & Pietikäinen, M. (2012). Face spoofing detection from single images using texture and local shape analysis. IET Biometrics, 1,3-10. https://doi.org/10.1049/iet-bmt.2011.0009
• Sarkar, A. (2020, Jul 11). Creating DenseNet 121 with TensorFlow. https://towardsdatascience.com/creating-densenet-121-with-tensorflow-edbc08a956d8
• Singhal, G. (2020, Nov 16). Transfer learning in deep dearning using Tensorflow 2.0. https://www.pluralsight.com/guides/transfer-learning-in-deep-learning-using-tensorflow-2.0
• Wen, D., Han, H., & Jain, A.K. (2015). Face spoof detection with image distortion analysis. IEEE Transactions on Information Forensics and Security, 10(4), 746-761. https://doi.org/10.1109/TIFS.2015.2400395
• Zhao, X., Lin, Y., & Heikkila, J. (2018). Dynamic texture recognition using volume local binary count patterns with an application to 2D face spoofing detection. IEEE Transactions on Multimedia, 20, 552-566. https://doi.org/10.1109/TMM.2017.2750415