Особливості взаємодії модусів інформації в мультимодальному тексті

Abstract

У пропонованій праці акцентовано увагу на ідеї співіснування в мультимодальному тексті семіотично гетерогенних компонентів, cловесного й іконічного, а також досліджено функційну значущість інформаційних модусів для створення, цілісного сприйняття й коректної інтерпретації мультимодального продукту. У праці мультимодальні тексти подано синкретичними утворами, фактура яких складається з двох негомогенних частин, зокрема словесної і несловесної, тобто такої, що співвідноситься з наявними варіативними невербальними компонентами. Авторки зробили спробу розкрити специфіку співіснування і взаємодії модусів інформації мультимодального комплексу із акцентом на їхню роль у сприйманні й розкодуванні трансльованих у тексті імпліцитних / експліцитних смислів. Матеріалом для дослідження було обрано поштові марки, випущені після повномасштабного вторгнення росії на територію України. Марки, представлені у праці, були випущенні державамисоюзниками на знак солідарності з Україною та її народом і підтримки боротьби українців із агресором. Щоби підтвердити / спростувати міркування про значущість знаків обох семіотичних систем, різних модусів, для осягнення смислу представленої на марці інформації, було проведено експеримент, результати якого подано й детально проаналізовано у статті. Учасникам експерименту було запропоновано після безпосереднього візуального контакту з оригінальною маркою та її модифікованими, безсловесним / словесним варіантами відповісти на низку запитань, сформованих для оцінювання сприймання й розуміння смислу, трансльованого через мультимодальний текст. За результатами було підтверджено міркування про значущість синтезу словесних та іконічних елементів у семіотичному просторі поштових марок як зразків мультимодальних текстів, тобто візуально, структурно, сенсово і функційно довершених єдностей.

The given paper focuses on combining semiotically heterogeneous components in a multimodal text in particular it shows connecting verbal and iconic elements within one paradigm. In addition, the article explores functional significance of information modes for the creation, holistic perception and correct interpretation of a multimodal product. Multimodal texts are interpreted and presented in the article as syncretic formations, texture of which consists of two inhomogeneous parts, specifically verbal and non-verbal, that is, one that correlates with the available variable non-verbal components. The authors made an attempt to reveal the specifics of the coexistence and interaction of the information modes of the multimodal complex with an emphasis on their role in the perception and decoding of implicit / explicit meanings transmitted in the text. Postage stamps issued after the full-scale Russian invasion of Ukraine were chosen as the material for the study. The stamps presented in the paper were issued by the allied states as a sign of solidarity with Ukraine and the Ukrainian people. It also demonstrates their support for the struggle of Ukrainians against the aggressor. To confirm or refute significance of signs of both semiotic systems and different modes, and for understanding meaning of the information presented on the particular stamp, an experiment was conducted. Basic results of the experiment have been presented and analyzed in detail. After direct visual contact with the original brand and its modified, wordless / verbal versions, the experiment participants had to answer several clear questions designed to assess the perception and understanding of the meaning conveyed through the multimodal text. The experiment has confirmed the assumption about the significance of the synthesis of verbal and iconic elements in the semiotic space of postage stamps as examples of multimodal texts defined as visually, structurally, sensibly, and functionally complete unities.