İnsan Yüzü Modifikasyonu için Farklı Bir GAN Modeli

Emre Kardal; Vasif Nabiyev

doi:10.31466/kfbd.1278278

TR EN

İnsan Yüzü Modifikasyonu için Farklı Bir GAN Modeli

Abstract

Günümüzde aktif olarak kullanılan Üretken Çekişmeli Ağlar (GAN'lar), makine öğrenmesi ve yapay zeka alanlarında son teknoloji yöntemlerden biridir. GAN'lar, iki sinir ağının (Üretici ve Ayırt Edici) rekabetçi bir şekilde birbirlerini eğiterek yüksek karmaşıklıktaki veri örneklerini işlemelerine ve bu sayede gerçekçi yapay görüntüler, sesler veya videolar üretmelerine olanak tanır. Genel olarak GAN algoritması kullanan modeller, rastgele gürültü örnekleri ile rastgele sonuçlar üretmektedir. Ancak, bu çalışmada geliştirilen farklı bir GAN modeli, belirli koşullara uygun olarak modifiye edilmesi istenen hedef yüzlerin gerçekçi sonuçlar oluşturmasına odaklanmaktadır. Bu modelin tasarımında, hedef yüz verileri girdi olarak kullanılarak, bu yüzlerin istenilen özelliklere göre (örneğin, sakal ekleme, kellik, vb.) modifiye edilmesi sağlanmıştır. Deneysel sonuçlar, belirli koşullar altında üretilen çıktının kayda değer başarılar elde ettiğini göstermiştir. Özellikle, geriye yönelik bir eğitim süreci olmamasına rağmen, modelin çıktısı giriş olarak tekrar kullanıldığında, eski fotoğrafın yeniden oluşturulmasında %62 başarı elde edilmiştir. Ayrıca, fotoğrafların arka planı silinerek sadece yüz için yapılan hesaplamalar sonucunda bu başarı oranı ortalama %85'e yükselmiştir. Bu çalışma, GAN modellerinin sadece rastgele gürültü ile sonuç üretmekten öte, belirli koşullara uygun gerçekçi modifikasyonlar yapabilme potansiyelini göstermektedir. Ulaşılan bu başarı oranları, özellikle güvenlik sistemleri, estetik cerrahi, film endüstrisi ve bilgisayar yaratıcılığı gibi alanlarda GAN modellerinin kullanım potansiyelini artırmaktadır.

Keywords

Üretken Çekişmeli Ağlar, Makine Öğrenmesi, Yapay Zekâ

Different GAN Model for Human Face Modification

Abstract

Generative Adversarial Networks (GANs) are among the state-of-the-art methods in the fields of machine learning and artificial intelligence. GANs enable the processing of highly complex data samples and thus the generation of realistic artificial images, sounds, or videos through the competitive training of two neural networks: the Generator and the Discriminator. Typically, models using the GAN algorithm produce random results with random noise samples. However, in this study, a different GAN model was developed, focusing on generating realistic results for target faces to be modified according to certain conditions. In the design of this model, target face data were used as input, and modifications (e.g., adding a beard, balding, etc.) were made according to desired characteristics. Experimental results showed that the outputs generated under certain conditions achieved remarkable success. Notably, even without a retrospective training process, the model achieved a 62% success rate in reconstructing the old photograph when the model’s output was reused as input. Additionally, when the background of the photos was removed and calculations were performed only on the face, this success rate increased to an average of 85%. This study demonstrates the potential of GAN models to perform realistic modifications according to specific conditions, beyond merely producing results with random noise. The achieved success rates highlight the potential applications of GAN models in fields such as security systems, aesthetic surgery, the film industry, and computer creativity.

Keywords

Generative Adversarial Networks (GANs), Machine Learning (ML), Artificial Intelligence (AI)

References

Ahmad, M., Cheema, U., Abdullah, M., Moon, S., & Han, D. (2021). Generating synthetic disguised faces with cycle-consistency loss and an automated filtering algorithm. Mathematics, 10(1), 4.
Berrahal, M., & Azizi, M. (2022). Optimal text-to-image synthesis model for generating portrait images using generative adversarial network techniques. Indonesian Journal of Electrical Engineering and Computer Science, 25(2), 972-979.
Boué, L. (2018). Deep learning for pedestrians: backpropagation in CNNs. arXiv preprint arXiv:1811.11987.
Brock, A., Donahue, J., & Simonyan, K. (2018). Large scale GAN training for high fidelity natural image synthesis. arXiv preprint arXiv:1809.11096.
Goodfellow, I. (2016). Nips 2016 tutorial: Generative adversarial networks. arXiv preprint arXiv:1701.00160.
Ho, Y., & Wookey, S. (2019). The real-world-weight cross-entropy loss function: Modeling the costs of mislabeling. IEEE access, 8, 4806-4813.
Hou, X., Liu, B., Wan, F., & You, H. (2022). Exploiting Knowledge Distillation for Few-Shot Image Generation. https://openreview.net/forum?id=vsEi1UMa7TC/
I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, ‘Generative adversarial nets’, in Advances in neural information processing systems, pp. 2672–2680, 2014.
Karabayır İ. (2018). Gradyan ve Özel Bir Hiper Düzlem Temelli Yeni Bir Optimizasyon Algoritması: Evriştirilmiş Gradyan Yönü ile Optimizasyon. Doktora Tezi. İstanbul Üniversitesi Sosyal Bilimler Enstitüsü İşletme Anabilim Dalı Sayısal Bilim Dalı
Karras, T., Aittala, M., Hellsten, J., Laine, S., Lehtinen, J., & Aila, T. (2020). Training generative adversarial networks with limited data. Advances in neural information processing systems, 33, 12104-12114.

Karras, T., Laine, S., Aittala, M., Hellsten, J., Lehtinen, J., & Aila, T. (2020). Analyzing and improving the image quality of stylegan. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 8110-8119).
Li, Z., Xia, B., Zhang, J., Wang, C., & Li, B. (2022). A comprehensive survey on data-efficient GANs in image generation. arXiv preprint arXiv:2204.08329.
Liu, Ziwei and Luo, Ping and Wang, Xiaogang and Tang, Xiaoou (2015). Proceedings of International Conference on Computer Vision (ICCV). Deep Learning Face Attributes in the Wild
Mao, X., Li, Q., Xie, H., Lau, R. Y., Wang, Z., & Paul Smolley, S. (2017). Least squares generative adversarial networks. In Proceedings of the IEEE international conference on computer vision (pp. 2794-2802).
Mirza, M., & Osindero, S. (2014). Conditional generative adversarial nets. arXiv preprint arXiv:1411.1784.
Olszewski, K., Ceylan, D., Xing, J., Echevarria, J., Chen, Z., Chen, W., & Li, H. (2020). Intuitive, interactive beard and hair synthesis with generative models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 7446-7456).
Park, H., Yoo, Y., & Kwak, N. (2018). Mc-gan: Multi-conditional generative adversarial network for image synthesis. arXiv preprint arXiv:1805.01123.
Radford, A., Metz, L., & Chintala, S. (2015). Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv preprint arXiv:1511.06434.
Salehi, P., Chalechale, A., & Taghizadeh, M. (2020). Generative adversarial networks (GANs): An overview of theoretical model, evaluation metrics, and recent developments. arXiv preprint arXiv:2005.13178.
Tao, M., Tang, H., Wu, F., Jing, X. Y., Bao, B. K., & Xu, C. (2022). Df-gan: A simple and effective baseline for text-to-image synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 16515-16525).
Wang, Y., Gonzalez-Garcia, A., Berga, D., Herranz, L., Khan, F. S., & Weijer, J. V. D. (2020). Minegan: effective knowledge transfer from gans to target domains with few images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 9332-9341).
Wang, Y., Wu, C., Herranz, L., Van de Weijer, J., Gonzalez-Garcia, A., & Raducanu, B. (2018). Transferring gans: generating images from limited data. In Proceedings of the European Conference on Computer Vision (ECCV) (pp. 218-234).
Wang, Zhou & Bovik, Alan & Sheikh, Hamid & Simoncelli, Eero. (2004). Image Quality Assessment: From Error Visibility to Structural Similarity. Image Processing, IEEE Transactions on. 13. 600-612. 10.1109/TIP.2003.819861.
Xu, B., Wang, N., Chen, T., & Li, M. (2015). Empirical evaluation of rectified activations in convolutional network. arXiv preprint arXiv:1505.00853.
Xu, T., Zhang, P., Huang, Q., Zhang, H., Gan, Z., Huang, X., & He, X. (2018). Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1316-1324). WOS Topic: Generative Adversarial Networks
Arjovsky, M., Chintala, S., & Bottou, L. (2017, July). Wasserstein generative adversarial networks. In International conference on machine learning (pp. 214-223). PMLR.
Liu, B., Zhu, Y., Song, K., & Elgammal, A. (2020, October). Towards faster and stabilized gan training for high-fidelity few-shot image synthesis. In International Conference on Learning Representations.
He, Y., Xing, Y., Zhang, T., & Chen, Q. (2021, October). Unsupervised portrait shadow removal via generative priors. In Proceedings of the 29th ACM International Conference on Multimedia (pp. 236-244).
Kong, C., Kim, J., Han, D., & Kwak, N. (2022, October). Few-shot image generation with mixup-based distance learning. In European Conference on Computer Vision (pp. 563-580). Cham: Springer Nature Switzerland.

Details

Primary Language

Turkish

Subjects

Computer Software

Journal Section

Research Article

Authors

Emre Kardal ^*
0009-0006-4871-6296
Türkiye

Vasif Nabiyev
0000-0003-0314-8134
Türkiye

Publication Date

June 18, 2024

Submission Date

April 6, 2023

Acceptance Date

June 6, 2024

Published in Issue

Year 2024 Volume: 14 Number: 2

DOI

https://doi.org/10.31466/kfbd.1278278

IZ

https://izlik.org/JA73MF47AJ

APA

Kardal, E., & Nabiyev, V. (2024). İnsan Yüzü Modifikasyonu için Farklı Bir GAN Modeli. Karadeniz Fen Bilimleri Dergisi, 14(2), 403-418. https://doi.org/10.31466/kfbd.1278278

AMA

1.Kardal E, Nabiyev V. İnsan Yüzü Modifikasyonu için Farklı Bir GAN Modeli. KFBD. 2024;14(2):403-418. doi:10.31466/kfbd.1278278

Chicago

Kardal, Emre, and Vasif Nabiyev. 2024. “İnsan Yüzü Modifikasyonu Için Farklı Bir GAN Modeli”. Karadeniz Fen Bilimleri Dergisi 14 (2): 403-18. https://doi.org/10.31466/kfbd.1278278.

EndNote

Kardal E, Nabiyev V (June 1, 2024) İnsan Yüzü Modifikasyonu için Farklı Bir GAN Modeli. Karadeniz Fen Bilimleri Dergisi 14 2 403–418.

IEEE

[1]E. Kardal and V. Nabiyev, “İnsan Yüzü Modifikasyonu için Farklı Bir GAN Modeli”, KFBD, vol. 14, no. 2, pp. 403–418, June 2024, doi: 10.31466/kfbd.1278278.

ISNAD

Kardal, Emre - Nabiyev, Vasif. “İnsan Yüzü Modifikasyonu Için Farklı Bir GAN Modeli”. Karadeniz Fen Bilimleri Dergisi 14/2 (June 1, 2024): 403-418. https://doi.org/10.31466/kfbd.1278278.

JAMA

1.Kardal E, Nabiyev V. İnsan Yüzü Modifikasyonu için Farklı Bir GAN Modeli. KFBD. 2024;14:403–418.

MLA

Kardal, Emre, and Vasif Nabiyev. “İnsan Yüzü Modifikasyonu Için Farklı Bir GAN Modeli”. Karadeniz Fen Bilimleri Dergisi, vol. 14, no. 2, June 2024, pp. 403-18, doi:10.31466/kfbd.1278278.

Vancouver

1.Emre Kardal, Vasif Nabiyev. İnsan Yüzü Modifikasyonu için Farklı Bir GAN Modeli. KFBD. 2024 Jun. 1;14(2):403-18. doi:10.31466/kfbd.1278278

Cited By

Classification of Plant Diseases With ResNet-GAN Integration: Comparative Analysis of Machine Learning And Deep Learning Methods

Sakarya University Journal of Computer and Information Sciences

https://doi.org/10.35377/saucis...1634387

Üretken Yapay Zekâ Teknolojisinin Yanlış Anlama Ve Yanlış Hesap Yapma Üzerindeki İkili Etkisi

ESAM Ekonomik ve Sosyal Araştırmalar Dergisi

https://doi.org/10.53662/esamdergisi.1561129

The published articles in The Black Sea Journal of Sciences are licensed under Creative Commons Attribution-NonCommercial 4.0 International