A multimodalitás , a szemiotikus érzék azt jelenti, hogy különböző kifejezési módokat - például beszédet, gesztust, rögzített vagy animált képeket és hangkíséretet - együttesen használnak jelentéskészítésben, médiaátviteli módjaikkal kapcsolatban, amelyek lehetnek szinkronos vagy aszinkronak .
A multimodalitás fogalmát a szemiotikában és a didaktikában alkalmazzák , ahol segít a folyamatosan változó digitális környezethez igazodó tanítási gyakorlatok elemzésében és megtervezésében.
Egészen a közelmúltig a nyelv volt a fő kifejezési mód, és hatásainak előállítása jól ismert volt, mert a Kr. E. IV . Századi retorika figyelembe vette . AD A múlt században, a fejlesztés a szemiotikai és gyakorlatias elmélyítette a nyelv tanulmányozására, mint egy közepes jelentésképzés között sokan mások.
A könyvről a képernyőre való átjutással és a képek egyre fontosabb szerepével a jelentés előállítása már nemcsak a nyelvet, hanem gyakran képeket és hangokat is magában foglal, multimodális módon. A digitális környezet az új szemiotikus gyakorlatok elterjedéséhez vezet, miközben a meglévő gyakorlatok bővülnek. A digitális technológia által nyújtott folyékonyság lehetővé teszi a korábban különálló üzemmódok, például a szöveg, a kép és a hang egyszerű integrálását, ezáltal megsokszorozva az üzenet gyártója számára kínált előnyöket vagy lehetőségeket. Ez a multimodalitást természetes kifejezési formává teszi. Kress szerint ez a helyzet a módok átalakulásához vezet, és specializálja őket a reprezentáció és a kommunikáció igényeinek megfelelően.
A "multimodalitás" fogalma, az angol multimodalitás , Gunther Kress (2003) munkájából származik . A kifejezést francia nyelven, szemiotikus értelmében vezették be Lebrun, Lacelle és Boutin (2012) munkájával. E szerzők szerint kijelöli: „a médiakommunikáció valós kontextusában egynél több szemiotikai mód alkalmazását szemiotikus tárgy vagy esemény tervezésére. " A szemiotikus módszer a verbális kifejezés és reprezentáció közepes típusa, vagy a nonverbális a jelentés előállításához. Lehet szöveges, ikonikus vagy hangos. A különféle módok kombinációja "multimodális szöveget" eredményez, más néven "multitext".
Például a kép / hang kapcsolatok három fő alkalmazásosztályt eredményeznek Zenouda szerint: