Research Article
BibTex RIS Cite

Çekişmeli Saldırıların Derin Öğrenme Tabanlı Yüz Sahteciliği Önleme Sistemlerine Etkisi

Year 2024, Volume: 14 Issue: 4, 1397 - 1407, 01.12.2024
https://doi.org/10.21597/jist.1533471

Abstract

Günümüzde yüz tanıma ve doğrulama sistemleri akıllı telefonlardan güvenlik sistemlerine, ödeme uygulamalarından uzaktan sağlık uygulamalarına kadar birçok alanda yüksek doğrulukla kullanılmaktadır. Yüz tanıma sistemlerini yanıltmanın en yaygın yolu kişinin sisteme kendi yüzü yerine maske, yazıcı çıktısı ya da monitör gibi araçlarla başka birinin yüzünü sunmasıdır. Son yıllarda birçok bilgisayarla görme uygulamasında olduğu gibi yüz tanıma sistemlerinde görüntü sahteciliğini önleme amacıyla da oldukça başarılı derin sinir ağı modelleri geliştirilmiştir. Bu modellerin farklı sahtecilik yöntemlerini hassas bir şekilde tespit edebilmesi ve girdi görüntülere uygulanacak saldırılara karşı dayanıklı olması beklenmektedir. Bu çalışmada güncel ve başarılı bir görüntü sahteciliği tespit modeli olan DGUA-FAS'ın çekişmeli saldırılara karşı dayanıklılığı araştırılmaktadır. Bu amaçla MIO algoritmasına dayalı kara kutu çekilmeli saldırı üretme yöntemi ile DGUA-FAS modelini yanıltmak amacıyla çekişmeli örnek görüntüler üretilmektedir. Deneysel çalışmalar, DGUA-FAS modelinin saldırı uygulanan tüm görüntüleri hatalı şekilde sınıflandırdığını göstermektedir. Elde edilen sonuçlar, yüz sahteciliği tespit modellerinin çekişmeli saldırılara karşı daha dayanıklı hale gelmesi gerektiğini göstermektedir.

Project Number

FBA-2024-13536

Thanks

Bu çalışma, Erciyes Üniversitesi Bilimsel Araştırma Projeleri (ERU-BAP) Koordinasyon Birimi tarafından FBA-2024-13536 numaralı proje kapsamında desteklenmektedir. Bu çalışmada yer alan tüm nümerik hesaplamalar TÜBİTAK ULAKBİM, Yüksek Başarım ve Grid Hesaplama Merkezi’nde (TRUBA kaynaklarında) gerçekleştirilmiştir.

References

  • Akhtar, N., Mian, A., Kardan, N., & Shah, M. (2021). Advances in adversarial attacks and defenses in computer vision: A survey. IEEE Access, 9, 155161-155196.
  • Arcuri, A. (2018). Test suite generation with the Many Independent Objective (MIO) algorithm. Information and Software Technology, 104, 195-206.
  • Atoum, Y., Liu, Y., Jourabloo, A., & Liu, X. (2017, October). Face anti-spoofing using patch and depth-based CNNs. In 2017 IEEE international joint conference on biometrics (IJCB) (pp. 319-328). IEEE.
  • Bartlett, A., Liem, C. C., & Panichella, A. (2023, May). On the Strengths of Pure Evolutionary Algorithms in Generating Adversarial Examples. In 2023 IEEE/ACM International Workshop on Search-Based and Fuzz Testing (SBFT) (pp. 1-8). IEEE.
  • Dong, Y., Liao, F., Pang, T., Hu, X., & Zhu, J. (2017). Discovering adversarial examples with momentum. arXiv preprint arXiv:1710.06081, 5.
  • Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.
  • Hong, Z. W., Lin, Y. C., Liu, H. T., Yeh, Y. R., & Chen, C. S. (2023, October). Domain-Generalized Face Anti-Spoofing with Unknown Attacks. In 2023 IEEE International Conference on Image Processing (ICIP) (pp. 820-824). IEEE.
  • Jourabloo, A., Liu, Y., & Liu, X. (2018). Face de-spoofing: Anti-spoofing via noise modeling. In Proceedings of the European conference on computer vision (ECCV) (pp. 290-306).
  • Kurakin, A., Goodfellow, I. J., & Bengio, S. (2018). Adversarial examples in the physical world. In Artificial intelligence safety and security (pp. 99-112). Chapman and Hall/CRC.
  • Madry, A., Makelov, A., Schmidt, L., Tsipras, D., & Vladu, A. (2017). Towards deep learning models resistant to adversarial attacks. arXiv preprint arXiv:1706.06083.
  • Papernot, N., McDaniel, P., Jha, S., Fredrikson, M., Celik, Z. B., & Swami, A. (2016, March). The limitations of deep learning in adversarial settings. In 2016 IEEE European symposium on security and privacy (EuroS&P) (pp. 372-387). IEEE.
  • Sahin, O. (2024). Generation of black-box adversarial attacks using many independent objective-based algorithm for testing the robustness of deep neural networks. Applied Soft Computing, 164, 111969.
  • Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I., & Fergus, R. (2013). Intriguing properties of neural networks. arXiv preprint arXiv:1312.6199.
  • Taşyürek, M., & Gül, E. (2023). Nesne Tespitinde En Uygun Modelin Seçimi İçin Görüntüler Üzerinde Evrişimli Sinir Ağları ile Çekişmeli Saldırı Tespiti. Journal of the Institute of Science and Technology, 13(4), 2353-2363.
  • Wang, Z., Yu, Z., Zhao, C., Zhu, X., Qin, Y., Zhou, Q., ... & Lei, Z. (2020). Deep spatial gradient and temporal depth learning for face anti-spoofing. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 5042-5051).
  • Yang, J., Lei, Z., & Li, S. Z. (2014). Learn convolutional neural network for face anti-spoofing. arXiv preprint arXiv:1408.5601.
  • Yu, Z., Zhao, C., Wang, Z., Qin, Y., Su, Z., Li, X., ... & Zhao, G. (2020). Searching central difference convolutional networks for face anti-spoofing. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 5295-5305).
  • Yu, Z., Qin, Y., Li, X., Zhao, C., Lei, Z., & Zhao, G. (2022). Deep learning for face anti-spoofing: A survey. IEEE transactions on pattern analysis and machine intelligence, 45(5), 5609-5631.

The Impact of Adversarial Attacks on Deep Learning-based Face Anti-Spoofing Systems

Year 2024, Volume: 14 Issue: 4, 1397 - 1407, 01.12.2024
https://doi.org/10.21597/jist.1533471

Abstract

Face recognition and verification systems are widely employed in various applications, from smartphones and security systems to payment and remote healthcare services, demonstrating high accuracy. However, a common method to spoof these systems involves presenting a different person's face using tools such as masks, printouts, or monitors instead of the actual user's face. In recent years, similar to advancements in other computer vision tasks, deep neural networks have been developed to effectively combat image forgery in face recognition systems. These models are expected to accurately detect diverse forgery techniques and be resilient to adversarial attacks on input images. This study investigates the robustness of DGUA-FAS, a state-of-the-art image forgery detection model, against adversarial attacks. Adversarial examples are generated using a black-box adversarial attack generation method based on MIO algorithm, to mislead the DGUA-FAS model. Experimental results demonstrate that the DGUA-FAS model misclassifies all attacked images. The findings highlight the necessity for developing face forgery detection models that are more resilient to adversarial attacks.

Project Number

FBA-2024-13536

References

  • Akhtar, N., Mian, A., Kardan, N., & Shah, M. (2021). Advances in adversarial attacks and defenses in computer vision: A survey. IEEE Access, 9, 155161-155196.
  • Arcuri, A. (2018). Test suite generation with the Many Independent Objective (MIO) algorithm. Information and Software Technology, 104, 195-206.
  • Atoum, Y., Liu, Y., Jourabloo, A., & Liu, X. (2017, October). Face anti-spoofing using patch and depth-based CNNs. In 2017 IEEE international joint conference on biometrics (IJCB) (pp. 319-328). IEEE.
  • Bartlett, A., Liem, C. C., & Panichella, A. (2023, May). On the Strengths of Pure Evolutionary Algorithms in Generating Adversarial Examples. In 2023 IEEE/ACM International Workshop on Search-Based and Fuzz Testing (SBFT) (pp. 1-8). IEEE.
  • Dong, Y., Liao, F., Pang, T., Hu, X., & Zhu, J. (2017). Discovering adversarial examples with momentum. arXiv preprint arXiv:1710.06081, 5.
  • Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.
  • Hong, Z. W., Lin, Y. C., Liu, H. T., Yeh, Y. R., & Chen, C. S. (2023, October). Domain-Generalized Face Anti-Spoofing with Unknown Attacks. In 2023 IEEE International Conference on Image Processing (ICIP) (pp. 820-824). IEEE.
  • Jourabloo, A., Liu, Y., & Liu, X. (2018). Face de-spoofing: Anti-spoofing via noise modeling. In Proceedings of the European conference on computer vision (ECCV) (pp. 290-306).
  • Kurakin, A., Goodfellow, I. J., & Bengio, S. (2018). Adversarial examples in the physical world. In Artificial intelligence safety and security (pp. 99-112). Chapman and Hall/CRC.
  • Madry, A., Makelov, A., Schmidt, L., Tsipras, D., & Vladu, A. (2017). Towards deep learning models resistant to adversarial attacks. arXiv preprint arXiv:1706.06083.
  • Papernot, N., McDaniel, P., Jha, S., Fredrikson, M., Celik, Z. B., & Swami, A. (2016, March). The limitations of deep learning in adversarial settings. In 2016 IEEE European symposium on security and privacy (EuroS&P) (pp. 372-387). IEEE.
  • Sahin, O. (2024). Generation of black-box adversarial attacks using many independent objective-based algorithm for testing the robustness of deep neural networks. Applied Soft Computing, 164, 111969.
  • Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I., & Fergus, R. (2013). Intriguing properties of neural networks. arXiv preprint arXiv:1312.6199.
  • Taşyürek, M., & Gül, E. (2023). Nesne Tespitinde En Uygun Modelin Seçimi İçin Görüntüler Üzerinde Evrişimli Sinir Ağları ile Çekişmeli Saldırı Tespiti. Journal of the Institute of Science and Technology, 13(4), 2353-2363.
  • Wang, Z., Yu, Z., Zhao, C., Zhu, X., Qin, Y., Zhou, Q., ... & Lei, Z. (2020). Deep spatial gradient and temporal depth learning for face anti-spoofing. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 5042-5051).
  • Yang, J., Lei, Z., & Li, S. Z. (2014). Learn convolutional neural network for face anti-spoofing. arXiv preprint arXiv:1408.5601.
  • Yu, Z., Zhao, C., Wang, Z., Qin, Y., Su, Z., Li, X., ... & Zhao, G. (2020). Searching central difference convolutional networks for face anti-spoofing. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 5295-5305).
  • Yu, Z., Qin, Y., Li, X., Zhao, C., Lei, Z., & Zhao, G. (2022). Deep learning for face anti-spoofing: A survey. IEEE transactions on pattern analysis and machine intelligence, 45(5), 5609-5631.
There are 18 citations in total.

Details

Primary Language Turkish
Subjects Computer Software
Journal Section Bilgisayar Mühendisliği / Computer Engineering
Authors

Ersin Kılıç 0000-0002-0924-9246

Ömür Şahin 0000-0003-1213-7445

Ahmet Nusret Toprak 0000-0003-4841-9508

Project Number FBA-2024-13536
Publication Date December 1, 2024
Submission Date August 14, 2024
Acceptance Date September 10, 2024
Published in Issue Year 2024 Volume: 14 Issue: 4

Cite

APA Kılıç, E., Şahin, Ö., & Toprak, A. N. (2024). Çekişmeli Saldırıların Derin Öğrenme Tabanlı Yüz Sahteciliği Önleme Sistemlerine Etkisi. Journal of the Institute of Science and Technology, 14(4), 1397-1407. https://doi.org/10.21597/jist.1533471
AMA Kılıç E, Şahin Ö, Toprak AN. Çekişmeli Saldırıların Derin Öğrenme Tabanlı Yüz Sahteciliği Önleme Sistemlerine Etkisi. J. Inst. Sci. and Tech. December 2024;14(4):1397-1407. doi:10.21597/jist.1533471
Chicago Kılıç, Ersin, Ömür Şahin, and Ahmet Nusret Toprak. “Çekişmeli Saldırıların Derin Öğrenme Tabanlı Yüz Sahteciliği Önleme Sistemlerine Etkisi”. Journal of the Institute of Science and Technology 14, no. 4 (December 2024): 1397-1407. https://doi.org/10.21597/jist.1533471.
EndNote Kılıç E, Şahin Ö, Toprak AN (December 1, 2024) Çekişmeli Saldırıların Derin Öğrenme Tabanlı Yüz Sahteciliği Önleme Sistemlerine Etkisi. Journal of the Institute of Science and Technology 14 4 1397–1407.
IEEE E. Kılıç, Ö. Şahin, and A. N. Toprak, “Çekişmeli Saldırıların Derin Öğrenme Tabanlı Yüz Sahteciliği Önleme Sistemlerine Etkisi”, J. Inst. Sci. and Tech., vol. 14, no. 4, pp. 1397–1407, 2024, doi: 10.21597/jist.1533471.
ISNAD Kılıç, Ersin et al. “Çekişmeli Saldırıların Derin Öğrenme Tabanlı Yüz Sahteciliği Önleme Sistemlerine Etkisi”. Journal of the Institute of Science and Technology 14/4 (December 2024), 1397-1407. https://doi.org/10.21597/jist.1533471.
JAMA Kılıç E, Şahin Ö, Toprak AN. Çekişmeli Saldırıların Derin Öğrenme Tabanlı Yüz Sahteciliği Önleme Sistemlerine Etkisi. J. Inst. Sci. and Tech. 2024;14:1397–1407.
MLA Kılıç, Ersin et al. “Çekişmeli Saldırıların Derin Öğrenme Tabanlı Yüz Sahteciliği Önleme Sistemlerine Etkisi”. Journal of the Institute of Science and Technology, vol. 14, no. 4, 2024, pp. 1397-0, doi:10.21597/jist.1533471.
Vancouver Kılıç E, Şahin Ö, Toprak AN. Çekişmeli Saldırıların Derin Öğrenme Tabanlı Yüz Sahteciliği Önleme Sistemlerine Etkisi. J. Inst. Sci. and Tech. 2024;14(4):1397-40.