Performance Comparison of Generative Adversarial Networks in Synthetic Image Generation

Abstract

Generative adversarial networks (GANs) are a special type of neural network used in machine learning. GAN contains two different modules, namely generator, and discriminator. They learn by converging high-dimensional data to low-dimensional sample space. We frequently use these models when we want to create samples close to the real data manifold in hyperspace. Due to its energy-based model structure, it has superior success in synthesizing artificial data close to the real data distribution. Even though GAN architectures have very strong generators, they may encounter problems such as unbalanced convergence by nature. The most obvious examples of this problem are often seen in studies on data from real business areas. In this study, performance analysis of generative adversarial network architectures that translate from image to image is made and its performance against unbalanced convergence problem is evaluated. For a quality performance evaluation of these models, the denim2bıyık dataset from the real business area was used instead of standardized datasets. Mustache patterns drawn on denim fabrics are created with a laser device. For this device to create the desired mustache pattern, it is necessary to work with visual editing programs for approximately 2-3 hours by specialized personnel. GAN architectures used in the study are Pix2Pix, CycleGAN, DiscoGAN, and AttentionGAN. Mustache pattern production performance evaluation and cost analysis were performed on the training and test data in the denim2bıyık dataset of each architecture. As a result of the studies, it is seen that the production speed of the mustache pattern image drops below one second, while the production accuracy reaches 86%.

Keywords

• GANs
• Synthetic image generation
• Mustache pattern
• Denim fabric

Project Number

FKP-2021-2144

Bıyık Deseni Üretiminde Çekişmeli Üretici Ağların Performans Karşılaştırması

Abstract

Çekişmeli üretici ağlar (ÇÜA) yapay öğrenmede kullanılan özel bir sinir ağı türüdür. ÇÜA kendi içinde üretici ve ayırıcı olmak üzere iki farklı modül içerir. Yüksek boyutlu verileri düşük boyutlu örneklem uzayına yakınsayarak öğrenme gerçekleştirirler. Hiper uzayda gerçek veri manifolduna yakın örneklem oluşturmak isteğimizde bu modelleri sıkça kullanırız. Enerji bazlı model yapısından dolayı gerçek veri dağılımına yakın yapay veri sentezlemesinde üstün bir başarıya sahiptir. ÇÜA mimarileri oldukça güçlü üreticilere sahip olsalar bile doğası gereği dengesiz yakınsama gibi problemlerle karşılaşabilirler. Bu problemin en bariz örnekleri genellikle gerçek iş alanlarından alınan veriler üzerinde yapılan çalışmalarda görülmektedir. Bu çalışmada görüntüden görüntüye dönüşüm yapan çekişmeli üretici ağ mimarilerinin performans incelemesi yapılıp dengesiz yakınsama problemi karşısındaki başarımı değerlendirilmiştir. Bu modellerin kaliteli bir başarım değerlendirmesi için standartlaştırılmış veri kümeleri yerine gerçek iş alanından toplanılan denim2bıyık veri kümesi kullanılmıştır. Denim kumaşları üzerine çizilen bıyık desenleri lazer cihazıyla oluşturulmaktadır. Bu cihazın istenilen bıyık desenini oluşturabilmesi için uzmanlaşmış bir personel tarafından görsel düzenleme programları ile yaklaşık 2-3 saat süren bir çalışma yapması gerekir. Çalışmada kullanılan ÇÜA mimarileri Pix2Pix, CycleGAN, DiscoGAN ve AttentionGAN’dır. Her bir mimarinin denim2bıyık veri kümesindeki eğitim ve test verileri üzerinde bıyık deseni üretim başarım değerlendirmesi ve maliyet analizi yapılmıştır. Yapılan çalışmalar sonucunda, bıyık desen görseli üretim hızı bir saniyenin altına düşerken, üretim doğruluğu %86 seviyelerine çıktığı görülmektedir.

Keywords

• Çekişmeli üretici ağlar
• Sentetik görüntü üretimi
• Bıyık deseni
• Denim kumaş

Supporting Institution

İnönü Üniversitesi Bilimsel Araştırma ve Koordinasyon Birimi

Project Number

FKP-2021-2144

Thanks

İnönü Üniversitesi’ne teşekkürlerimizi sunarız

References

1. [1] Das S., Dey A., Pal A., Roy N. 2015. Applications of Artificial Intelligence in Machine Learning: Review and Prospect. International Journal of Computer Applications, 115(9), 31–41.
2. [2] LeCun Yann, et al. 1989. Backpropagation applied to handwritten zip code recognition. Neural computation.
3. [3] Goodfellow I J., Pouget-Abadie J., Mirza M., Xu B., Warde-Farley D., Ozair S., Courville A., Bengio Y. 2014. Generative adversarial nets. Advances in Neural Information Processing Systems, 2672–2680.
4. [4] Radford A., Metz L., Chintala S. 2016. Unsupervised representation learning with deep convolutional generative adversarial networks. 4th International Conference on Learning Representations, ICLR 2016- Conference Track Proceedings, 1–16.
5. [5] Isola P., Zhu J Y., Zhou T., Efros A A. 2017. Image-to-image translation with conditional adversarial networks. Proceedings- 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, 5967–5976.
6. [6] Zhu J Y., Park T., Isola P., Efros A A. 2017. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision, 2242–2251.
7. [7] Karras T., Aila T., Laine S., Lehtinen J. 2018. Progressive growing of GANs for improved quality, stability, and variation. 6th International Conference on Learning Representations, ICLR 2018- Conference Track Proceedings, 1–25.
8. [8] Huang X., Belongie S. 2017. Arbitrary Style Transfer in Real-Time with Adaptive Instance Normalization. Proceedings of the IEEE International Conference on Computer Vision, 1510–1519.

9. [9] Karras T., Laine S., Aila T. 2019. A style-based generator architecture for generative adversarial networks. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 4396–4405.
10. [10] Wang T C., Liu M Y., Zhu J Y., Tao A., Kautz J., Catanzaro B. 2018. High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 8798–8807.
11. [11] Park T., Liu M Y., Wang T C., Zhu J Y. 2019. Semantic image synthesis with spatially-adaptive Normalization. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2332–2341.
12. [12] Dundar A., Sapra K., Liu G., Tao A., Catanzaro B. 2020. Panoptic-based Image Synthesis. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 8067–8076.
13. [13] Huang H., Yu P S., Wang C. 2018. An Introduction to Image Synthesis with Generative Adversarial Nets. 1–17.
14. [14] Goodfellow I. 2016. Generative Adversarial Networks. NIPS 2016 Tutorial.
15. [15] Lazarou C. 2021. Generative Adversarial Networks. https://www.slideshare.net/ckmarkohchang/generative-adversarial-networks. (Erişim Tarihi: 20.04.2021)
16. [16] Ghosh A., Kumar H., Sastry P S. 2017. Robust loss functions under label noise for deep neural networks. 31st AAAI Conference on Artificial Intelligence, AAAI 2017, 1919–1925.
17. [17] Ronneberger O., Fischer P., Brox T. 2015. U-Net: Convolutional Networks for Biomedical Image Segmentation. MICCAI.
18. [18] Mihelich M., Dognin C., Shu Y., Blot M. 2020. A Characterization of Mean Squared Error for Estimator with Bagging. ArXiv, abs/1908.02718.
19. [19] Kim T., Cha M., Kim H., Lee J. K., Kim J. 2017. Learning to discover cross-domain relations with generative adversarial networks. 34th International Conference on Machine Learning, ICML 2017, 4, 2941–2949.
20. [20] Mejjati Y A., Richardt C., Tompkin J., Cosker D. 2018. Unsupervised Attention-guided Image-to-Image Translation. NeurIPS 2018, 1–11.
21. [21] Nilsson J., Akenine-Möller T. 2020. Understanding SSIM. ArXiv, abs/2006.13846.
22. [22] Fardo F A., Conforto V H., Oliveira F C., Rodrigues P. 2016. A Formal Evaluation of PSNR as Quality Measurement Parameter for Image Segmentation Algorithms. ArXiv, abs/1605.07116.