Common Generative Adversarial Network Types and Practical Applications

Öz

Bu çalışmada ele alınan Generatif Karşılıklı Ağları (Generative Adversarial Networks - GAN), Kısıtlı Boltzmann Makineleri (Restricted Boltzmann Machines - RBM), Derin Boltzmann Makineleri (Deep Boltzmann Machines - DBM) ve Varyasyonel Otomatik Kodlayıcılar (ariational Autoencoders- VAE) gibi genel derin öğrenme algoritmalarının kısıtlamalarının üstesinden gelmek için geliştirilmiş birçok derin öğrenme yöntemi arasında yer almaktadır. GAN modelleri ve yapıları toplanan veri kümelerinden yeni benzersiz veriler oluşturabilir. Bu veri kümeleri kimi zaman binlerce veriden oluşabilir, veri kümelerinin içerisinde farklı türde veriler mevcut olabilir. Bu yöntemlerin varyasyonları, çoğunlukla görüntü restorasyonu ve görüntü oluşturma, sinyal işleme ve siber saldırıların tespiti gibi derin öğrenme uygulamaları için kullanılır. Literatürde pek çok farklı GAN modelleri mevcuttur. Bu çalışmada da, esas olarak En Küçük Kareler Oluşturucu Düşman Ağları (Least Squares Generative Adversarial Networks - LSGAN) ve Derin Konvolüsyonel Üretken Düşman Ağları (Deep Convolutional Generative Adversarial Networks - DCGAN) olarak adlandırılan iki GAN yöntemi üzerine odaklanılmıştır. Bu farklı yöntemler, geleneksel GAN algoritmasının performansını iyileştirmek ve çeşitli problemlerin farklı gereksinimlerini karşılayarak çözmek için geliştirilmişlerdir. Bu çalışmada bu yöntemlerin mimarîleri, kullanılış biçimleri, özellikleri, sayısal tanımlamaları verilmiş ve birbirlerinden farkları açıklanmıştır. Bu çalışmada ayrıca her iki GAN yöntemi (LSGAN ve DCGAN) için de, toplanan verilerden yeni ve benzersiz veriler oluşturmak için kullanılan bu algoritmaların literatürdeki pratik uygulamaları da ele alınmıştır. LSGAN için literatürdeki 5 farklı çalışma, DCGAN için ise literatürdeki 2 farklı çalışma ele alınarak incelenmiştir. Son olarak, bu yöntemlerle elde edilen sonuçlar karşılaştırılmış ve hangi yöntem için hangi uygulamanın kullanılabileceği açıklanmıştır. Araştırmalardan görüldüğü üzere her iki yöntemin de uygulanabileceği problemler birbirinden farklılık göstermektedir.

Anahtar Kelimeler

• Derin Öğrenme,GAN,LSGAN,DCGAN

Common Generative Adversarial Network Types and Practical Applications

Abstract

Generative Adversarial Networks (GAN) which are analyzed in this study are among many deep learning methods which have been developed to overcome the restrictions of generic deep learning algorithms such as Restricted Boltzmann Machines (RBM), Deep Boltzmann Machines (DBM) and Variational Autoencoders (VAE). GAN models and structures can create new unique data from the collected data bases. These data bases can contain thousands of data and different types of data. The variations of these methods are mostly used for deep learning applications such as image restoration and creation, signal processing, and detection of cyber-attacks. In the literature, there are many different types of GANs. In this paper, it was focused on two GAN methods which are the Least Squares Generative Adversarial Networks (LSGAN), and Deep Convolutional Generative Adversarial Networks (DCGAN). These methods have been developed to improve the performance of the traditional GAN algorithm and solve various problems by satisfying different requirements. In this study, the architectures, usage types, properties and numeric definitions about these two methods were given and also the differences between them were analyzed. After that, the practical applications of these algorithms in the literature which have been used for creating new and unique data from the collected data were also discussed in this paper. 5 literature studies for LSGAN and 2 literature studies for DCGAN were given. Finally, we have compared the obtained results of these methods and explain which method can be used for which type of application. As seen from the researches, the applications that these methods can be applied are different from each other.

Keywords

• Deep Learning,GAN,LSGAN,DCGAN

References

1. Soumyadeep Kundu, Sayantan Paul, Suman Kumar Bera, Ajith Abraham, Ram Sarkar “Text-line extraction from handwritten document images using GAN” Expert Systems with Applications, Vol. 140, 112916, 2020.
2. Soumith Chintala, Alec Radford, Luke Metz “Unsupervised Representation Learning With Deep Convolutional Generative Adversarial Networks”in Proc. ICLR 2016.
3. Xudong Mao, Qing Li, Haoran Xie, Raymond Y.K. Lau, Zhen Wang, Stephen Paul Smolley, “Least Squares Generative Adversarial Networks” in Proc. ICCV 2017.
4. Qianwen Lu, Qingchuan Tao, Yalin Zhao, Manxiao Liu “Sketch simplification based on conditional random field and least squares generative adversarial networks” Neurocomputing, Vol. 316, 178-189, 2017.
5. Kangwei Wang, Xin Zhang, Qiushi Hao, Yan Wang, Yi Shen “Application Of Improved Least-Square Generative Adversarial Networks For Rail Crack Detection By Ae Technique” Neurocomputing, Vol. 332, 236-248, 2018.
6. Xudong Mao, Qing Li, Haoran Xie, Raymond Y.K. Lau, Zhen Wang, Stephen Paul Smolley “On the Effectiveness of Least Squares Generative Adversarial Networks” IEEE Transactions On Pattern Analysis And Machine Intelligence, Vol. 41, 2019
7. Degang Sun, Kun Yang, Zhixin Shi, Chao Chen, “A New Mimicking Attack By Lsgan”in Proc. IEEE 29th International Conference on Tools with Artificial Intelligence (ICTAI), 2017.
8. Meiyu Li, Hailiang Tang, Michael D. Chan, Xiaobo Zhou, Xiaohua Qian “DC-AL GAN: Pseudoprogression and True Tumor Progression of Glioblastoma Multiform Image Classification Based on DCGAN and AlexNet” Cornell University arXiv:1902.06085

9. Auwal Sani Iliyasu, Huifang Deng, “A.Semi-Supervised Encrypted Traffic Classification With Deep Convolutional Generative Adversarial Networks”IEEE Access Vol.8, 118-126, 2019.
10. Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, Alan L. Yuille “Semantic image segmentation with deep convolutional nets and fully connected CRFs” in Proc. ICLR 2015.