Multimodalität im sozio-kulturellen Kontext: mit Bildern reden, Bilder verstehen

Year 2020, Issue: 43, 19 - 38, 22.06.2020

Valeria Chernyavskaya Ludmila V. Kulıkova

https://doi.org/10.26650/sdsl2020-0009

Abstract

Der vorliegende Beitrag will zur Diskussion über die Multimodalität beitragen mit dem Ziel, auf die visuelle Ressource als notwendige Voraussetzung für das Verstehen hinzuweisen. Er fokussiert die Fragen, wie ein Bild im Diskurs wirksam wird, wie Kommunikationsteilnehmer in einem bestimmten Kulturraum Bedeutungen mithilfe einer visuellen Ressource ausdrücken und interpretieren, welche gesellschaftlich sinnvollen Bedeutungen mit dem im Text enthaltenen Bild verbunden sind. Die Auseinandersetzung mit dem Visuellen bietet einen ‚Access Point‘ zur Kontextualisierung und zugleich eine Evidenzbasis in der theoretischen Begründung dessen, wie das gemeinsame, in der kulturellen Praxis geteilte Wissen entsteht und weiter funktioniert. Die methodologischen Grundlagen werden durch die soziale Semiotik von M. A. K. Halliday, G. Kress, van Leeuwen festgelegt, beruhen auf den theoretischen Vorstellungen von Multimodalität von H. Stöckl, H. Schmiz, B. Sandig, folgen der diskurssensitiven kulturwissenschaftlichen Linguistik nach H. Kuße. Fallbeispiele aus der deutschen und russischen kommunikativen Praxis werden analysiert. Die Expansion des Bildes in sozialen Praktiken erfordert von den Teilnehmern der Kommunikation reflektierte visuelle Erfahrung und eine multimodale Kompetenz. Eine solche Kompetenz beinhaltet die Fähigkeit, ideologische, politische, kulturspezifische Implikationen von Bildern abzuleiten und zu interpretieren, die Werteinstellungen zu verstehen, die hinter der visuellen Gestaltung der Bedeutungen stehen.

Keywords

Multimodalität, Visualität, soziale Semiotik, Kultur, sozialer Kontext

Multimodality in Socio-cultural Contexts: To Talk with Pictures, to Understand Pictures

Abstract

The present paper is inspired by the challenges posed by multimodal/multi-semiotic resources in the investigation of communication. We focus on the visual resource as a socially and culturally shaped semiotic resource of making meaning and discuss how images work in different socio-cultural contexts. The interpretative complexity of the notions of ‘culture’ and ‘socio-cultural context’ is explained by looking at images as they represent information from a socio-cultural environment. The theoretical framework of the paper was rooted in Halliday, Kress and Leeuwen’s theory of social semiotics, in the concepts of multimodal communication and text linguistic view of the language-image-link according to Stöckl, Schmiz, Sandig, and in Kuße’s discourse sensitive cultural linguistics. The questions under discussion are how we communicate through visual images, and how communicative actors produce and interpret meanings through pictures. We use the multimodal texts from modern German and Russian discourse and discuss the role of the visual image in shaping our socio-cultural experience and knowledge. The paper argues for more sensitivity in respect of the expansion of visual images with regard to multimodal competence. The latter plays a crucial role in exploring the ideological and culturally specific implicatures behind the visual images.

Keywords

Multimodality, visuality, social semiotics, culture, social context

References

• Chernyavskaya, V. (2014). Kommunikation in der Wissenschaft: Ein Plädoyer für Mehrsprachigkeit. In Alman Dili ve Edebiyatı Dergisi – Studien zur deutschen Sprache und Literatur, 2, 5-15.
• Chernyavskaya, V. (2016). Multimodality versus “Logocentrism” in Persuasion. In Filologicheskie Nauki – Nauchnye Doklady Vysshei Shkoly – Philological Sciences – Scientific essays of Higher Education, 2, 3-10.
• Ehlich, K. (1998). Medium Sprache. In Strohner H., Sichelschmidt L., Hielscher M. (Hrg.). Medium Sprache (S. 9-21). Frankfurt/M.: Lang.
• Gumperz, J. (2002). Sharing Common Ground. In Keim I., Schütte W., (Hrsg.). Soziale Welten und kommunikative Stile (S. 47-55). Tübingen: Narr.
• Feng, W. D. (2017). Metonymy and visual representation: towards a social semiotic framework of visual metonymy. In Visual Communication. 16 (4). 441-466.
• Kress, G. (2010). Multimodality: A social semiotic approach to contemporary communication. Abingdon, UK: Routledge.
• Kress, G. & van Leeuwen, T. (2001). Multimodal discourse. The modes and media of contemporary communication. London: Arnold.
• Kress, G. & van Leeuwen, T. (1996 1st ed.; 2006 2nd ed.). Reading images. The grammar of visual design. London: Routledge.
• Kulikova, L. V. (2019). Intercultural mediation: a discourse-analytical perspective. Voprosy Kognitivnoy Lingvistiki. № 3. 26-35. DOI: 10.20916/1812-3228-2019-3-26-35
• Kulikova, L. V. & Detinko, J. I. (2020). Discursive Construction of “Others” in the Semiotic Space of Political Communication. In E. Malyuga (Hrsg.), Functional Approach to Professional Discourse Exploration in Linguistics (S. 199-230). Singapur: Springer.
• Kuße, H. & Chernyavskaya, V. E. (2019). Culture: Towards its explanatory charge in discourse linguistics. In Vestnik Sankt-Peterburgskogo Universiteta. Yazyk i Literatura. № 3 (16). 444-462.
• Kuße, H. (2012). Kulturwissenschaftliche Linguistik. Eine Einführung. Göttingen: Vandenhoeck & Ruprecht.
• Molodychenko, Е. N. (2015). Axiological Dimension in the Discourse of Consumerism: The Role of Evaluative Language in the lifestyle genre. Vestnik Tomskogo gosudarstvennogo universiteta. Filologiya – Tomsk State University Journal of Philology. № 6 (38). 55-66. DOI: 10.17223/19986645/38/5.
• Molodychenko, E. N. (2017). Identity and Discourse: From Social Theory to Practice of Discourse Analysis. In St. Petersburg State Polytechnic University Journal. Humanities and Social sciences. Vol. 8. №3. 122–133. DOI: 10.18721/Jhss.8312.
• Nöth, W. (2000). Der Zusammenhang von Text und Bild. In Brinker, K., Antos, G., Heinemann, W. & Sager S. (Hrsg.) Text- und Gesprächslinguistik. Ein internationales Handbuch zeitgenössischer Forschung, 1. Halbbd. (S. 489496). N.Y.: de Gruyter.
• Sandig, B. (2006). Textstilistik des Deutschen. Berlin, N.Y.: de Gruyter.
• Schmitz, U. (2004). Sprache in modernen Medien. Einführung in Tatsachen und Theorien, Themen und Thesen. Berlin: Erich Schmidt.
• Spitzmüller, J. (2017). ‚Kultur‘ und das ‚Kulturelle‘: Zur Reflexivität eines begehrten Begriffs. In Zeitschrift für Angewandte Linguistik. 67, 3-23.
• Stöckl, H. (2009). The language-image-text – Theoretical and analytical inroads into semiotic complexity. In Arbeiten aus Anglistik und Amerikanistik. №34 (2). 203-226.
• Stöckl, H. (2010). Sprache-Bild-Texte lesen. Bausteine zur Methodik einer Grundkompetenz. In Diekmannshenke, H., Klemm, M., Stöckl, H. (Hrg.), Bildlinguistik (S. 43-70). Berlin: Erich-Schmidt.
• Şenöz-Ayata, C. & Atasoy, İ. (2019). Ein interkultureller Blick auf Multimodalität in ausgewählten deutschen, angloamerikanischen, italienischen und türkischen Kosmetikwerbeanzeigen. Alman Dili ve Edebiyatı Dergisi - Studien zur deutschen Sprache und Literatur, 41, 1-23. https://doi.org/10.26650/sdsl2019-0004
• Tchernyavskaia, V. & Zakaryan, S. (2014). Cultural marked Texts: Intercultural Dimension of Text Linguistics. In Filologicheskie Nauki – Nauchnye Doklady Vysshei Shkoly – Philological Sciences – Scientific essays of Higher Education. 2. 10-16.
• Widdowson, H. G. (2004). Text, context, pretext: Critical issues in discourse analysis. (language in society). Wiley Online Library.