DERİN SİNİR AĞLARI YARDIMIYLA FOTOMONTAJ TESPİTİ

Abstract

Son yıllarda hızla gelişen teknoloji ile birlikte verilerin sağlıklı bir şekilde elde edilmesi, elde edilen verilerin korunması ve elde edilen verilerin özgün olması büyük önem taşımaktadır. Özgünlüğün tespiti özellikle görüntüler üzerinde büyük önem teşkil etmektedir. Görüntülerde bozulma ya da değişiklik olup olmadığını tespit etmek ise tıptan, belgede sahteciliğe kadar geniş bir çalışma alanını etkilemektedir. Fotomontaj tespiti için derin öğrenme algoritmaları ile mevcut görüntü işleme metotlarının aynı anda kullanılması verimliliği arttırmaktadır. Yapılan çalışmalar, derin sinir ağları, yüksek boyutlu girdilerden karmaşık istatistiksel özellikleri elde edebildikleri ve hiyerarşik temsillerini etkili bir biçimde öğrenebildiklerini göstermişlerdir. Bu çalışmada görüntü üzerinde değişiklik yapılmış kısım ile yapılmamış kısım arasındaki farkı daha rahat ayırabilmek için geliştirilmiş maske bölgesel evrişimsel sinir ağı (Mask R-CNN) ile bu sinir ağına bağlanan sobel filtresi kullanılmaktadır. Sobel filtresi, sinir ağı ile tahmin edilen maskelerin zemin üzerindeki maskeye benzer görüntü gradyanlarına sahip olmasını teşvik etmek için yardımcı bir görev görür. Ağ ile kopyala taşıma ve birleştirme işlemleri algılanabilmektedir. Sinir ağı uygulanırken COCO veri seti kullanılmıştır. Yapılan çalışma ile daha yüksek başarı oranları elde edilmiştir.

Keywords

• Derin Öğrenme
• Derin Sinir Ağları
• Fotomontaj Tespiti
• Mask RCNN

PHOTOMONTAGE DETECTION WITH DEEP NEURAL NETWORKS

Abstract

With the rapidly developing technology in recent years, obtaining the data properly, protection of the obtained data and it is very important that the obtained data are original. Identification of originality is of great importance, especially on images. Detecting whether there is distortion or change in images affects a wide range of work field from medicine to document forgery. The simultaneous use of deep learning algorithms and existing image processing methods for photomontage detection increases efficiency. Studies have shown that deep neural networks can obtain complex statistical properties from high dimensional inputs and can learn their hierarchical representation effectively. In this study, in order to discriminate the difference between the part that has been changed and the part that has not been changed, we used the improved mask regional convolutional neural network (Mask R-CNN) and the sobel filter connected to this neural network. The Sobel filter acts as an assistant to promote masks to have similar mask image gradients on the ground estimated by the neural network. Copy-move and splicing operations can be detected with the network. The COCO data set was used when applying the neural network. Higher success rates were obtained with the study.

Keywords

• Deep Learning
• Deep Neural Networks
• Photomontage Detection
• Mask RCNN

References

1. Ahmad MF., Khan Z.,2019, Fake Image Detection Using Convolutional Neural Network.
2. Chollet F., Yue-Hei Ng J., (ResNet50), 2017, GitHub repository, https://github.com/fchollet/deep-learning-models/blob/master/resnet50.py
3. Gonzalez R. ve Woods R., 1992, Digital Image Processing, Addison Wesley, 414 - 428.
4. He K., Gkioxari G., Dollár P. ve diğerleri, 2017, Mask R-CNN.
5. He K., Zhang X., Ren S., ve Sun J.,2015, Deep residual learning for image recognition. 7.
6. Jaiswal AK., Srivastava R., 2019, Image Splicing Detection using Deep Residual Network. SSRN Electronic Journal.
7. Jarusek R., Volna E.,Kotyrba M., 2018, Robust steganographic method based on unconventional approach of neural networks. Neural Computing and Applications, 26, 111-116.
8. Jarusek R., Volna E.,Kotyrba M., 2019, Photomontage detection using steganography technique based on a neural network. Neural Networks, 116, 150-165.

9. LeCun Y., Bengio Y., Hinton G., 2015, Deep Learning. Nature, 521, 436-44.
10. Szegedy C.,Ioffe S., Vanhoucke V.,Alemi A., 2016, Inception- v4, Inception-ResNet and the Impact of Residual Connections Learning. pp, 4278–4284.
11. Şeker A., Diri B., Balık H. H., 2017, Derin Öğrenme Yöntemleri ve Uygulamaları Hakkında Bir İnceleme. Gazi Mühendislik Bilimleri Dergisi, 3.
12. Wang X., Wang H., Niu S. ve Zhang J., 2019, Detection and localization of image forgeries using improved mask regional convolutional neural network. Mathematical Biosciences and Engineering, 16, 4581-4593.
13. Zhao ZQ., Zheng P., Xu S.S, Wu X., 2019,Object detection with deep learning: A review. IEEE Transactions on Neural Networks and Learning Systems, 30, 3212-3232.