Manipulation in Visual Communication: Semiotic Analysis of Megaphone Advertisement Prepared with Deepfake Technology

Year 2024, Volume: 17 Issue: 5, 1902 - 1924, 17.09.2024

Dilek Aydemir

https://doi.org/10.35674/kent.1457805

Abstract

One of today's newest phenomena is artificial intelligence-based deepfake applications. Deepfake is defined as the technology of automatically changing the faces of people in images with the use of deep learning-based algorithms. Deepfake, which is built on visual manipulation and editing, stands out as the core concept of this research. This research paper provides an overview of what deepfake technology is, which areas of use it covers, and the advantages and disadvantages of deepfake technology. In this context, the advertisement film of the Russian operator company Megafon, which was selected as a sample, was examined and the advertisement film, in which deepfake technology was used, was analyzed within the scope of plain meaning / connotation, and the messages intended to be given to the audience were tried to be analyzed, and the technical analysis of the image of the actor's digital twin created with deepfake was made. In this process, every image used in the Megafon commercial was analyzed frame by frame with the semiotic method. The advertisement film in which deepfake technology was utilized was analyzed semiotically to analyze the messages intended to be given to the audience, and the effects of the advertisement shot with deepfake technology on the visual narrative were examined.

Keywords

Deepfake, artificial intelligence, visual communication, advertising, semiotics.

Görsel İletişimde Manipülasyon: Deepfake Teknolojisi ile Hazırlanan Megafon Reklamının Göstergebilimsel Analizi

Abstract

Günümüzün en yeni fenomenlerinden biri yapay zekâ temelli deepfake uygulamalarıdır. Deepfake, derin öğrenmeye dayalı algoritmaların kullanımıyla görüntülerde kişilerin yüzünün otomatik olarak değiştirilmesi teknolojisi olarak açıklanmaktadır. Görsel manipülasyon ve düzenleme üzerine inşa edilmiş olan deepfake, bu araştırmanın temel kavramı olarak öne çıkmaktadır. Bu araştırma makalesi deepfake teknolojisinin ne olduğu, hangi kullanım alanlarını içerdiği, deepfake teknolojisinin avantaj ve dezavantajlarına genel bir bakış açısı sunmaktadır. Bu kapsamda örneklem olarak seçilen Rus operatör şirketi Megafon’un reklam filmi incelenmiş ve deepfake teknolojisinden faydalanılmış olan reklam filmi düz anlam/yan anlam kapsamında incelenerek izleyicilere verilmek istenen mesajların neler olduğu çözümlenmeye çalışılmış, aktörün deepfake ile oluşturulmuş dijital ikizinin görüntüsünün teknik incelemesi yapılmıştır. Bu süreçte Megafon reklam filminde kullanılmış olan her görsel göstergebilimsel yöntemle kare kare analiz edilmiştir. Deepfake teknolojisinden faydalanılmış olan reklam filmi göstergebilimsel olarak incelenerek izleyicilere verilmek istenen mesajların neler olduğu çözümlenmeye çalışılmıştır, deepfake teknolojisi ile çekilmiş olan reklamın görsel anlatıya etkileri incelenmiştir.

Keywords

Deepfake, yapay zekâ, görsel iletişim, reklam, göstergebilim.

References

• Acar, H. M. (2022). Reklamda yapay zekâ kullanımı: ziraat bankası #senhepgülümse reklam filminde deepfake uygulamasının görsel anlatıya etkisi. Kastamonu İletişim Araştırmaları Dergisi, 78-99.
• Almars, A. M. (2021). Deepfakes detection techniques using deep learning: a survey. journal of computer and communications. Journal Of Computer And Communications, 20-35.
• Anıkaydın, İ. (2022). Deepfake uygulamalarının hukuki boyutu. Düzce Üniversitesi Sosyal Bilimler Dergisi, 12(2), 736-747.
• Babayiğit, B. (2021). Deepfake’in ceza hukuku bakımından değerlendirilmesi ve de lege ferenda öneriler. Ankara Hacı Bayram Veli Üniversitesi Hukuk Fakültesi Dergisi, 25(4), 655-703.
• Becer, E. (2006). İletişim ve grafik tasarım. Ankara: Dost Kitabevi.
• Conditions, B. H. (2022, Mart 31). Understanding bruce willis' aphasia diagnosis. Retrieved from: https://www.rush.edu/news/understanding-bruce-willis-aphasia-diagnosis.
• Doğan, F. (2022, Ağustos 22). Ünlü oyuncu Deepfake teknolojisiyle reklam filminde oynadı. Retrieved from: 2024 tarihinde shiftdelete.net: https://shiftdelete.net/bruce-willis-deepfake-teknolojisiyle-reklamda-oynadi.
• Dursun, Ö. (2021). Rus Reklam Filminde Bruce Willis'in Deepfake'i Oynadı. Retrieved from: https://www.tamindir.com/haber/bruce-willis-deepfake_69706/ in 07.03.2024
• Elden, M. (2009). Reklam ve reklamcılık. İstanbul: Say Yayınları.
• Guarnera, L., Giudice, O., Nastasi, C. and Battiato, S. (2020). Preliminary Forensics Analysis of DeepFake Images. 2020 AEIT International Annual Conference (AEIT) Book. AEIT International Annual Conference.
• Hameleershttps, M., Meer, T. G. and Dobber, T. (2022). You won’t believe what they just said! the effects of political deepfakes embedded as vox populi on social media. Social Media + Society, 8(3), 1-12.
• Holt, S. (2022, NİSAN 4). Understanding aphasıa what will bruce willis’ aphasia diagnosis mean for the veteran actor? Retrieved from: The Brink: https://www.bu.edu/articles/2022/what-will-bruce-willis-aphasia-diagnosis-mean-for-the-veteran-actor/ in 10.03.2024.
• Impact. (2021, 24 Eylül). Deepfake Technology Puts Bruce Willis in Russian TV Ad. YouTube. (https://www.youtube.com/watch?v=Ca75gKxfdPQ
• Karasavva, V. and Noorbhai, A. (2021). The real threat of deepfake pornography: A review of Canadian policy. Cyberpsychology, Behavior, and Social Networking, 24(3), 203-209.
• Kerner, C. and Risse, M. (2021). Beyond Porn and Discreditation: Epistemic Promises and Perils of Deepfake Technology in Digital Lifeworlds. Moral Philosophy and Politics, 8(1), 81-108. https://doi.org/10.1515/mopp-2020-0024
• Kwok, A. O. and Koh, S. G. (2021). Deepfake: a social construction of technology. Current Issues in Tourism , 24(13), 1798-1802.
• Lin, Y., and Parvataneni, K. (2021). Deepfake generation,detection, and usecases:areview paper. International Journal of Computational and Biological Intelligent Systems (IJCBIS), 2(3).
• Matern, F., Riess, C. and Stamminger, M. (2019). Exploiting visual artifacts to expose deepfakes and face manipulations . IEEE Winter Applications of Computer Vision Workshops, 83-92.
• Mccartney, P. (2021, 22 Temmuz). Paul McCartney, Beck - Find My Way. YouTube. https://www.youtube.com/watch?v=t2Q4hAQ4fEw
• МегаФон. (2021, 13 Ağustos). "Первый семейный" тариф – Говори с детьми бесплатно. YouTube. https://www.youtube.com/watch?v=XSUQwwOm3G4&list=WL&index=23
• Misirlis, N. and Harris, B. (2023). From deepfake to deep useful: risks and opportunities through a systematic literature review. arXiv preprint arXiv, 26-32.
• Murphy, G. and Flynn, E. (2022). Deepfake false memories. Memory, 30(4), 480-492.
• Müzikotek. (2022, 26 Ocak) Barış abı̇mı̇zı̇n bı̇zlere bı̇r mesajı var! - Barış Manço'nun sesinden aksigorta reklamı. YouTube. https://www.youtube.com/watch?v=ynIlYOt29hY.
• Negi, S., Jayachandran, M., & Upadhyay, S. (2021). Deep fake : an understanding of fake ımages and videos. International Journal of Scientific Research in Computer Science Engineering and Information Technology, 7(3), 183-189.
• Oruç, M. C. and Türkay, O. (2018). Türkiye tanıtım afişlerinin göstergebilimsel bir analizi: home of Turkey afişleri örneği. The Turkish Online Journal of Design, Art and Communication, 312-328.
• Prezja, F., Paloneva, J., Pölönen, I., Niinimäki, E. and Äyrämö, S. (2022). DeepFake knee osteoarthritis X-rays from generative adversarial neural networks deceive medical experts and offer augmentation potential to automatic classification. Scientific Reports, 12(1).
• Qureshi, J. and Khan, S. (2024). Artificial intelligence (AI) deepfakes in healtcare systems: a double-edged sword? balancing opportunities and navigating risks. Preprints 2024, 1-9. https://doi.org/10.20944/preprints202402.0176.v1.
• Sharf, Z. (2022 , Ekim 3). Deepfake Studio Used 34,000 Bruce Willis Images to Create the Actor’s ‘Digital Twin,’ But It Doesn’t Own the Rights to His Image. Retrieved from: https://variety.com/2022/film/news/bruce-willis-sells-rights-deepfake-digital-twin-1235388442/ in 09.03.2024.
• Southgate, E. and Judge, I. (2022). The new machine age for English teachers: The pedagogical possibilities and pitfalls of artificial intelligence. Metaphor(2), 10-16.
• Temir, E. (2020). Deepfake: New era in the age of disinformation & end of reliable journalism. Selçuk İletişim, 13(2), 1009-1024.
• Thambawita, V., Isaksen, J. L., Hicks, S. A., Ghouse, J., Ahlberg, G., Linneberg, A., . . . Hammer, H. (2021). DeepFake electrocardiograms using generative adversarial networks are the beginning of the end for privacy issues in medicine. Scientific Reports, 1-8.
• Topsümer, F. and Elden, M. (2015). Reklamcılık Kavramlar, Kararlar, Kurumlar. İstanbul: İletişim Yayınları.
• Westerlund, M. (2019). The emergence of deepfake technology: a review. Technology Innovation Management Review, 39-52.
• Whyte, C. (2020). Deepfake news: aı-enabled disinformation as a multi-level public policy challenge. Journal of cyber policy, 5(2), 199-217.
• Yıldırım, A. and Şimşek, H. (2021). Sosyal bilimlerde nitel araştırma yöntemleri. Ankara: Seçkin Yayıncılık.
• Yıldız, M. (2021, 3 Ocak). Ziraat Bankası 157 Yıl Reklamı - Kemal Sunal ile Deepfake Video. YouTube. https://www.youtube.com/watch?v=o9hXSfig0ss
• Yılmaz, M. and Mazlum, H. (2019). Kültürel motiflerin reklam üzerinde kulanımı: Türk Hava Yolları lale motifi örneği. Akdeniz Sanat, 59-69.
• Zi, B., Chang, M., Chen, J., Ma, X. and Jiang, Y.-G. (2020). Wild deepfake: a challenging real-world dataset for deepfake. Proceedings of the 28th ACM international conference on multimedia, 2382-2390. Washington.