Araştırma Makalesi
BibTex RIS Kaynak Göster

Evrişimli Sinir Ağlarında Transfer Öğrenmesi ile GAN tarafından Üretilen Sahte Görüntü Tespiti

Yıl 2023, , 98 - 107, 30.04.2023
https://doi.org/10.46387/bjesr.1257332

Öz

Çekişmeli Üretken Ağ (GAN), üretken bir derin öğrenme modeli olarak bilinir. Üretici (generator) ve ayırt edici (discriminator) yapılarından oluşmaktadır. Sentetik veri olarak bilinen GAN modeli çıktılarının oldukça başarılı örnekleri bilinmektedir. Farklı amaçlar ile kullanılabilen sentetik verilerin, başarılı bir şekilde üretilmesi durumunda insan gözü ile tespit edilebilmesi oldukça güç bir problemdir. Bu çalışmada farklı ve popüler Evrişimli Sinir Ağı (CNN) modellerinin öznitelik çıkarıcı olarak kullanıldığı, sentetik ve gerçek görüntüleri ayırt eden bu problem için Laplace filtresi ve benzemezlik tabanlı yeni bir CNN katmanı önerilmiştir. GAN modelinin farklı modeller üzerindeki başarı sonuçları tespit edilmiştir. Böylece, gözle ayırt edilemeyen sentetik verilerin tespiti için CNN modellerinden yararlanmanın uygun bir alternatif olduğu anlaşılmıştır. En iyi başarı %98.75 doğruluk oranıyla DenseNet ile elde edilmiştir.

Kaynakça

  • I. Goodfellow vd. “Generative adversarial networks”, Commun. ACM, vol. 63, no. 11, pp. 139–144, 2020.
  • S. Motamed, P. Rogalla, ve F. Khalvati “Data augmentation using Generative Adversarial Networks (GANs) for GAN-based detection of Pneumonia and COVID-19 in chest X-ray images”, Informatics Med. Unlocked, vol. 27, p. 100779, 2021.
  • N. Sharma, R. Sharma, ve N. Jindal “Comparative analysis of CycleGAN and AttentionGAN on face aging application”, Sādhanā, vol. 47, no. 1, p. 33, 2022.
  • R. Huang, L. Ma, J. He, ve X. Chu “T-GAN: A deep learning framework for prediction of temporal complex networks with adaptive graph convolution and attention mechanism”, Displays, vol. 68, p. 102023, 2021.
  • A. Creswell, T. White, V. Dumoulin, K. Arulkumaran, B. Sengupta, ve A.A. Bharath “Generative Adversarial Networks: An Overview”, IEEE Signal Processing Magazine, vol. 35, no. 1. pp. 53–65, 2018.
  • S. Stoll, N. C. Camgoz, S. Hadfield, ve R. Bowden “Text2Sign: Towards Sign Language Production Using Neural Machine Translation and Generative Adversarial Networks”, Int. J. Comput. Vis., vol. 128, no. 4, pp. 891–908, 2020.
  • K. Nazeri, E. Ng, ve M. Ebrahimi “Image colorization using generative adversarial networks”, içinde Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), LNCS, vol. 10945 pp. 85–94, 2018.
  • C. Fabbri, M.J. Islam, ve J. Sattar “Enhancing Underwater Imagery Using Generative Adversarial Networks”, içinde Proceedings - IEEE International Conference on Robotics and Automation, pp. 7159–7165, 2018.
  • G. Antipov, M. Baccouche, ve J.L. Dugelay “Face aging with conditional generative adversarial networks”, içinde Proceedings - International Conference on Image Processing, ICIP, pp. 2089–2093, 2018.
  • F. Marra, D. Gragnaniello, D. Cozzolino, ve L. Verdoliva “Detection of GAN-Generated Fake Images over Social Networks”, IEEE 1st Conference on Multimedia Information Processing and Retrieval, MIPR, pp. 384–389.
  • D. Cozzolino, G. Poggi, ve L. Verdoliva “Recasting residual-based local descriptors as convolutional neural networks: An application to image forgery detection”, Proceedings of the 2017 ACM Workshop on Information Hiding and Multimedia Security, pp. 159–164, 2017.
  • B. Bayar ve M.C. Stamm “A deep learning approach to universal image manipulation detection using a new convolutional layer”, Proceedings of the 2016 ACM Information Hiding and Multimedia Security Workshop, pp. 5–10, 2016.
  • L. Nataraj vd. “Detecting GAN generated Fake Images using Co-occurrence Matrices”, Electron. Imaging, vol. 31, no. 5, pp. 532-1-532–7, 2019.
  • S. McCloskey ve M. Albright “Detecting GAN-Generated Imagery Using Saturation Cues”, International Conference on Image Processing, ICIP, pp. 4584–4588.
  • Y. LeCun ve Y. Bengio “Convolutional networks for images, speech, and time series”, Handb. brain theory neural networks, vol. 3361, pp. 255–258, 1995, [Çevrimiçi]. Available at: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.32.9297&rep=rep1&type=pdf.
  • T. Rahman vd. “Transfer Learning with Deep Convolutional Neural Network (CNN) for Pneumonia Detection Using Chest X-ray”, Appl. Sci., vol. 10, no. 9, p. 3233, 2020.
  • S. Raghu, N. Sriraam, Y. Temel, S.V. Rao, ve P.L. Kubben “EEG based multi-class seizure type classification using convolutional neural network and transfer learning”, Neural Netw., vol. 124, pp. 202–212, 2020.

GAN-Generated Fake Image Detection with Transfer Learning in Convolutional Neural Networks

Yıl 2023, , 98 - 107, 30.04.2023
https://doi.org/10.46387/bjesr.1257332

Öz

The Generative Adversarial Network (GAN) is known as a generative deep learning model. It consists of generator and discriminator structures. Very successful examples of GAN model outputs known as synthetic data are known. It is a very difficult problem to detect synthetic data, which can be used for different purposes, in case of successful generation. In this study, a Laplace filter and a new dissimilarity-based Convolutional Neural Network (CNN) layer is proposed in order to distinguish synthetic and real images, in which different and popular CNN models are used as feature extractors. The success results of the GAN model on different models have been determined. Thus, it has been understood that using CNN models is a suitable alternative for the detection of synthetic data that cannot be distinguished by the naked eye. The best success was achieved with DenseNet with an accuracy rate of 98.75%.

Kaynakça

  • I. Goodfellow vd. “Generative adversarial networks”, Commun. ACM, vol. 63, no. 11, pp. 139–144, 2020.
  • S. Motamed, P. Rogalla, ve F. Khalvati “Data augmentation using Generative Adversarial Networks (GANs) for GAN-based detection of Pneumonia and COVID-19 in chest X-ray images”, Informatics Med. Unlocked, vol. 27, p. 100779, 2021.
  • N. Sharma, R. Sharma, ve N. Jindal “Comparative analysis of CycleGAN and AttentionGAN on face aging application”, Sādhanā, vol. 47, no. 1, p. 33, 2022.
  • R. Huang, L. Ma, J. He, ve X. Chu “T-GAN: A deep learning framework for prediction of temporal complex networks with adaptive graph convolution and attention mechanism”, Displays, vol. 68, p. 102023, 2021.
  • A. Creswell, T. White, V. Dumoulin, K. Arulkumaran, B. Sengupta, ve A.A. Bharath “Generative Adversarial Networks: An Overview”, IEEE Signal Processing Magazine, vol. 35, no. 1. pp. 53–65, 2018.
  • S. Stoll, N. C. Camgoz, S. Hadfield, ve R. Bowden “Text2Sign: Towards Sign Language Production Using Neural Machine Translation and Generative Adversarial Networks”, Int. J. Comput. Vis., vol. 128, no. 4, pp. 891–908, 2020.
  • K. Nazeri, E. Ng, ve M. Ebrahimi “Image colorization using generative adversarial networks”, içinde Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), LNCS, vol. 10945 pp. 85–94, 2018.
  • C. Fabbri, M.J. Islam, ve J. Sattar “Enhancing Underwater Imagery Using Generative Adversarial Networks”, içinde Proceedings - IEEE International Conference on Robotics and Automation, pp. 7159–7165, 2018.
  • G. Antipov, M. Baccouche, ve J.L. Dugelay “Face aging with conditional generative adversarial networks”, içinde Proceedings - International Conference on Image Processing, ICIP, pp. 2089–2093, 2018.
  • F. Marra, D. Gragnaniello, D. Cozzolino, ve L. Verdoliva “Detection of GAN-Generated Fake Images over Social Networks”, IEEE 1st Conference on Multimedia Information Processing and Retrieval, MIPR, pp. 384–389.
  • D. Cozzolino, G. Poggi, ve L. Verdoliva “Recasting residual-based local descriptors as convolutional neural networks: An application to image forgery detection”, Proceedings of the 2017 ACM Workshop on Information Hiding and Multimedia Security, pp. 159–164, 2017.
  • B. Bayar ve M.C. Stamm “A deep learning approach to universal image manipulation detection using a new convolutional layer”, Proceedings of the 2016 ACM Information Hiding and Multimedia Security Workshop, pp. 5–10, 2016.
  • L. Nataraj vd. “Detecting GAN generated Fake Images using Co-occurrence Matrices”, Electron. Imaging, vol. 31, no. 5, pp. 532-1-532–7, 2019.
  • S. McCloskey ve M. Albright “Detecting GAN-Generated Imagery Using Saturation Cues”, International Conference on Image Processing, ICIP, pp. 4584–4588.
  • Y. LeCun ve Y. Bengio “Convolutional networks for images, speech, and time series”, Handb. brain theory neural networks, vol. 3361, pp. 255–258, 1995, [Çevrimiçi]. Available at: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.32.9297&rep=rep1&type=pdf.
  • T. Rahman vd. “Transfer Learning with Deep Convolutional Neural Network (CNN) for Pneumonia Detection Using Chest X-ray”, Appl. Sci., vol. 10, no. 9, p. 3233, 2020.
  • S. Raghu, N. Sriraam, Y. Temel, S.V. Rao, ve P.L. Kubben “EEG based multi-class seizure type classification using convolutional neural network and transfer learning”, Neural Netw., vol. 124, pp. 202–212, 2020.
Toplam 17 adet kaynakça vardır.

Ayrıntılar

Birincil Dil Türkçe
Konular Yapay Zeka, Yazılım Testi, Doğrulama ve Validasyon
Bölüm Araştırma Makaleleri
Yazarlar

Ece Ecemiş 0009-0002-8214-4499

Kemal Güner 0000-0002-7506-6114

Umut Kuran 0000-0001-5508-1870

Emre Can Kuran 0000-0002-0987-3866

Yayımlanma Tarihi 30 Nisan 2023
Yayımlandığı Sayı Yıl 2023

Kaynak Göster

APA Ecemiş, E., Güner, K., Kuran, U., Kuran, E. C. (2023). Evrişimli Sinir Ağlarında Transfer Öğrenmesi ile GAN tarafından Üretilen Sahte Görüntü Tespiti. Mühendislik Bilimleri Ve Araştırmaları Dergisi, 5(1), 98-107. https://doi.org/10.46387/bjesr.1257332
AMA Ecemiş E, Güner K, Kuran U, Kuran EC. Evrişimli Sinir Ağlarında Transfer Öğrenmesi ile GAN tarafından Üretilen Sahte Görüntü Tespiti. Müh.Bil.ve Araş.Dergisi. Nisan 2023;5(1):98-107. doi:10.46387/bjesr.1257332
Chicago Ecemiş, Ece, Kemal Güner, Umut Kuran, ve Emre Can Kuran. “Evrişimli Sinir Ağlarında Transfer Öğrenmesi Ile GAN tarafından Üretilen Sahte Görüntü Tespiti”. Mühendislik Bilimleri Ve Araştırmaları Dergisi 5, sy. 1 (Nisan 2023): 98-107. https://doi.org/10.46387/bjesr.1257332.
EndNote Ecemiş E, Güner K, Kuran U, Kuran EC (01 Nisan 2023) Evrişimli Sinir Ağlarında Transfer Öğrenmesi ile GAN tarafından Üretilen Sahte Görüntü Tespiti. Mühendislik Bilimleri ve Araştırmaları Dergisi 5 1 98–107.
IEEE E. Ecemiş, K. Güner, U. Kuran, ve E. C. Kuran, “Evrişimli Sinir Ağlarında Transfer Öğrenmesi ile GAN tarafından Üretilen Sahte Görüntü Tespiti”, Müh.Bil.ve Araş.Dergisi, c. 5, sy. 1, ss. 98–107, 2023, doi: 10.46387/bjesr.1257332.
ISNAD Ecemiş, Ece vd. “Evrişimli Sinir Ağlarında Transfer Öğrenmesi Ile GAN tarafından Üretilen Sahte Görüntü Tespiti”. Mühendislik Bilimleri ve Araştırmaları Dergisi 5/1 (Nisan 2023), 98-107. https://doi.org/10.46387/bjesr.1257332.
JAMA Ecemiş E, Güner K, Kuran U, Kuran EC. Evrişimli Sinir Ağlarında Transfer Öğrenmesi ile GAN tarafından Üretilen Sahte Görüntü Tespiti. Müh.Bil.ve Araş.Dergisi. 2023;5:98–107.
MLA Ecemiş, Ece vd. “Evrişimli Sinir Ağlarında Transfer Öğrenmesi Ile GAN tarafından Üretilen Sahte Görüntü Tespiti”. Mühendislik Bilimleri Ve Araştırmaları Dergisi, c. 5, sy. 1, 2023, ss. 98-107, doi:10.46387/bjesr.1257332.
Vancouver Ecemiş E, Güner K, Kuran U, Kuran EC. Evrişimli Sinir Ağlarında Transfer Öğrenmesi ile GAN tarafından Üretilen Sahte Görüntü Tespiti. Müh.Bil.ve Araş.Dergisi. 2023;5(1):98-107.