Çekişmeli üretici ağ ile ölçeklenebilir görüntü oluşturma ve süper çözünürlük

Ceren Güzel Turhan; Hasan Şakir Bilge

doi:10.17341/gazimmfd.587010

Çekişmeli üretici ağ ile ölçeklenebilir görüntü oluşturma ve süper çözünürlük

Öz

Çekişmeli eğitimin derin öğrenme konusundaki ileri gelen araştırmacılar tarafından son 10 yılın en heyecan verici konularından biri olarak ilan edilmesi ile birlikte birçok araştırmacı, Üretici Çekişmeli Ağı (GAN) üzerine yoğunlaşmıştır. Bu gelişmeler ile birlikte Otokodlayıcı (AE) olarak daha önceden bilinen modelin varyasyonel versiyonu olan Varyasyonel Otokodlayıcı (VAE) ile birlikte Otokodlayıcı modeller yeniden önem kazanmıştır. GAN modellerinin bazı kısıtlamaları, çıkarım mekanizması gibi bazı eksiklikleri, GAN ve VAE hibrit modellerini ortaya çıkmıştır. Bu gelişmelerin etkisiyle, bu çalışmada da bir GAN ve VAE hibrit modeline odaklanılmıştır. Sentetik görüntüler ile istenen çözünürlükte elde edebilmek üzere, Kompozisyonel Örüntü Üreten Ağlar (CPPN) ile GAN ve VAE modelleri bir arada kullanılmıştır. Bu çalışmada, VAE / GAN olarak adlandırılmış bir hibrit modelinde kullanılan objektif fonksiyonu önerilen model ile bir araya getirilmiştir. Deney çalışmalarında model performansının değerlendirmek üzere VAE / CPGAN olarak adlandırdığımız model, temel modelleriyle (GAN, VAE ve VAE / GAN) karşılaştırılmıştır. Bu amaçla, önerilen modelin el yazısı görüntülerinden oluşan popüler veri kümesi üzerinde gerçekleştirilen eğitim ile gerçekçi ve süper çözünürlüklü ölçeklenebilir sentetik görüntüler oluşturmadaki başarısı gösterilmiştir.

Anahtar Kelimeler

Derin öğrenme,varyasyonel otokodlayıcı,üretici çekişmeli ağlar,görüntü oluşturma,ölçeklenebilir süper çözünürlük

Kaynakça

Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., ... & Bengio, Y., Generative adversarial nets, Advances in neural information processing systems, 2014.
Goodfellow, I. J., Jonathon S., Christian S., Explaining and harnessing adversarial examples, arXiv preprint arXiv:1412.6572, 2014.
Gauthier, J., Conditional generative adversarial nets for convolutional face generation, Class Project for Stanford CS231N: Convolutional Neural Networks for Visual Recognition, Winter semester, 2014:5, 2014.
Radford, A., Metz, L., Chintala. S., Unsupervised representation learning with deep convolutional generative adversarial networks, arXiv preprint arXiv:1511.06434, 2015.
Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., Lee, H., Generative adversarial text to image synthesis. In Proceedings of The 33rd International Conference on Machine Learning, 2016.
Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X. and Metaxas, D.N., Stackgan: Text to photo-realistic image synthesis with stacked generative adversarial networks, In Proceedings of the IEEE International Conference on Computer Vision, 5907-5915, 2017.
Yeh, R.A., Chen, C., Yian Lim, T., Schwing, A.G., Hasegawa-Johnson, M. and Do, M.N., Semantic image inpainting with deep generative models, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 5485-5493, 2017.
Iizuka, S., Simo-Serra, E. and Ishikawa, H., Globally and locally consistent image completion, ACM Transactions on Graphics (ToG), 36(4), 2017.

Liu, M.Y., Breuel, T. and Kautz, J., Unsupervised image-to-image translation networks. In Advances in Neural Information Processing Systems, 700-708, 2017.
Isola, P., Zhu, J.Y., Zhou, T. and Efros, A.A, Image-to-image translation with conditional adversarial networks, In Proceedings of the IEEE conference on computer vision and pattern recognition, 1125-1134, 2017.
Kingma, D.P. and Welling, M., Auto-encoding variational bayes, arXiv preprint arXiv:1312.6114, 2013.
Stanley, K.O., Compositional pattern producing networks: A novel abstraction of development. Genetic programming and evolvable machines, 8(2), pp.131-162, 2007.
Mirza, M. and Osindero, S., Conditional generative adversarial nets, arXiv preprint arXiv:1411.1784, 2014.
Denton, E.L., Chintala, S. and Fergus, R., Deep generative image models using a laplacian pyramid of adversarial networks, In Advances in neural information processing systems, 1486-1494, 2015.
Radford, A., Metz, L. and Chintala, S., Unsupervised representation learning with deep convolutional generative adversarial networks, arXiv preprint arXiv:1511.06434, 2015.
Hinton, G.E. and Zemel, R.S., Autoencoders, minimum description length and Helmholtz free energy, In Advances in neural information processing systems, 3-10, 1994.
Makhzani, A., Shlens, J., Jaitly, N., Goodfellow, I. and Frey, B., Adversarial autoencoders, arXiv preprint arXiv:1511.05644, 2015.
Larsen, A.B.L., Sønderby, S.K., Larochelle, H. and Winther, O., Autoencoding beyond pixels using a learned similarity metric, arXiv preprint arXiv:1512.09300, 2015.
Lamb, A., Dumoulin, V. and Courville, A., Discriminative regularization for generative models, arXiv preprint arXiv:1602.03220, 2016.
Dosovitskiy, A. and Brox, T., Generating images with perceptual similarity metrics based on deep networks, In Advances in Neural Information Processing Systems, 658-666, 2016.
Dumoulin, V., Belghazi, I., Poole, B., Mastropietro, O., Lamb, A., Arjovsky, M. and Courville, A.,. Adversarially learned inference, arXiv preprint arXiv:1606.00704, 2016.
Stanley, K.O. and Miikkulainen, R., Evolving neural networks through augmenting topologies. Evolutionary computation, 10(2), 99-127, 2002.
Dong, C., Loy, C.C., He, K. and Tang, X., Learning a deep convolutional network for image super-resolution, In European conference on computer vision, 184-199, 2014.
Dong, C., Loy, C.C. and Tang, X., Accelerating the super-resolution convolutional neural network, In European conference on computer vision, 391-407, 2016.
Kim, J., Kwon Lee, J. and Mu Lee, K., Deeply-recursive convolutional network for image super-resolution, In Proceedings of the IEEE conference on computer vision and pattern recognition, 1637-1645, 2016.
Yamanaka, J., Kuwashima, S. and Kurita, T., Fast and accurate image super resolution by deep CNN with skip connection and network in network, In International Conference on Neural Information Processing, 217-225, 2017.
Lai, W.S., Huang, J.B., Ahuja, N. and Yang, M.H., Fast and accurate image super-resolution with deep laplacian pyramid networks, IEEE transactions on pattern analysis and machine intelligence, 2018.
Lim, B., Son, S., Kim, H., Nah, S. and Mu Lee, K., Enhanced deep residual networks for single image super-resolution, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 136-144, 2017.
Johnson, J., Alahi, A. and Fei-Fei, L., Perceptual losses for real-time style transfer and super-resolution, In European conference on computer vision, 694-711, 2016.
Simonyan, K. and Zisserman, A, Very deep convolutional networks for large-scale image recognition, arXiv preprint arXiv:1409.1556, 2014.
Kim, J., Kwon Lee, J. and Mu Lee, K., Accurate image super-resolution using very deep convolutional networks, In Proceedings of the IEEE conference on computer vision and pattern recognition, 1646-1654, 2016.
Ledig, C., Theis, L., Huszár, F., Caballero, J., Cunningham, A., Acosta, A., Aitken, A., Tejani, A., Totz, J., Wang, Z. and Shi, W., Photo-realistic single image super-resolution using a generative adversarial network, In Proceedings of the IEEE conference on computer vision and pattern recognition, 4681-4690, 2017.
He, K., Zhang, X., Ren, S. and Sun, J., Deep residual learning for image recognition, In Proceedings of the IEEE conference on computer vision and pattern recognition, 770-778, 2016.
Sajjadi, M.S., Scholkopf, B. and Hirsch, M., Enhancenet: Single image super-resolution through automated texture synthesis, In Proceedings of the IEEE International Conference on Computer Vision, 4491-4500, 2017.
Turhan, C.G. and Bılge, H.S., Single image super resolution using deep convolutional generative neural networks, In 2018 26th Signal Processing and Communications Applications Conference (SIU), 1-4, 2018.
Secretan, J., Beato, N., D Ambrosio, D.B., Rodriguez, A., Campbell, A. and Stanley, K.O., Picbreeder: evolving pictures collaboratively online, In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 1759-1768, 2008.
LeCun, Y., Cortes, C. and Burges, C.J., MNIST handwritten digit database, AT&T Labs. http://yann. lecun. com/exdb/mnist, 02.18.2010, 03.05.2019.
Maas, A.L., Hannun, A.Y. and Ng, A.Y., Rectifier nonlinearities improve neural network acoustic models, In Proc. Icml, 30(1), 3, 2013.
Kingma, D.P. and Ba, J., A method for stochastic optimization, arXiv preprint arXiv:1412.6980, 2014.
Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A. and Chen, X, Improved techniques for training gans, In Advances in neural information processing systems, 2234-2242, 2016.

Ayrıntılar

Birincil Dil

Türkçe

Konular

Mühendislik

Bölüm

Araştırma Makalesi

Yazarlar

Ceren Güzel Turhan ^*
0000-0002-8923-1547
Türkiye

Hasan Şakir Bilge
0000-0002-4945-0884

Yayımlanma Tarihi

25 Aralık 2019

Gönderilme Tarihi

4 Temmuz 2019

Kabul Tarihi

15 Kasım 2019

Yayımlandığı Sayı

Yıl 2020 Cilt: 35 Sayı: 2

DOI

https://doi.org/10.17341/gazimmfd.587010

IZ

https://izlik.org/JA72RR33FP

Kaynak Göster

RIS / Bibtex

APA

Güzel Turhan, C., & Bilge, H. Ş. (2019). Çekişmeli üretici ağ ile ölçeklenebilir görüntü oluşturma ve süper çözünürlük. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 35(2), 953-966. https://doi.org/10.17341/gazimmfd.587010

AMA

1.Güzel Turhan C, Bilge HŞ. Çekişmeli üretici ağ ile ölçeklenebilir görüntü oluşturma ve süper çözünürlük. GUMMFD. 2019;35(2):953-966. doi:10.17341/gazimmfd.587010

Chicago

Güzel Turhan, Ceren, ve Hasan Şakir Bilge. 2019. “Çekişmeli üretici ağ ile ölçeklenebilir görüntü oluşturma ve süper çözünürlük”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 35 (2): 953-66. https://doi.org/10.17341/gazimmfd.587010.

EndNote

Güzel Turhan C, Bilge HŞ (01 Aralık 2019) Çekişmeli üretici ağ ile ölçeklenebilir görüntü oluşturma ve süper çözünürlük. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 35 2 953–966.

IEEE

[1]C. Güzel Turhan ve H. Ş. Bilge, “Çekişmeli üretici ağ ile ölçeklenebilir görüntü oluşturma ve süper çözünürlük”, GUMMFD, c. 35, sy 2, ss. 953–966, Ara. 2019, doi: 10.17341/gazimmfd.587010.

ISNAD

Güzel Turhan, Ceren - Bilge, Hasan Şakir. “Çekişmeli üretici ağ ile ölçeklenebilir görüntü oluşturma ve süper çözünürlük”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 35/2 (01 Aralık 2019): 953-966. https://doi.org/10.17341/gazimmfd.587010.

JAMA

1.Güzel Turhan C, Bilge HŞ. Çekişmeli üretici ağ ile ölçeklenebilir görüntü oluşturma ve süper çözünürlük. GUMMFD. 2019;35:953–966.

MLA

Güzel Turhan, Ceren, ve Hasan Şakir Bilge. “Çekişmeli üretici ağ ile ölçeklenebilir görüntü oluşturma ve süper çözünürlük”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, c. 35, sy 2, Aralık 2019, ss. 953-66, doi:10.17341/gazimmfd.587010.

Vancouver

1.Ceren Güzel Turhan, Hasan Şakir Bilge. Çekişmeli üretici ağ ile ölçeklenebilir görüntü oluşturma ve süper çözünürlük. GUMMFD. 01 Aralık 2019;35(2):953-66. doi:10.17341/gazimmfd.587010

Cited By

Classification of Environmental Sounds With Deep Learning

Advances in Artificial Intelligence Research

https://doi.org/10.54569/aair.1017801

Sentinel -2 Uydu Görüntüleri için Evrişimli Otokodlayıcı Sinir Ağı ile Süper Çözünürlük Yaklaşımı

Turkish Journal of Remote Sensing and GIS

https://doi.org/10.48123/rsgis.1254716