A McGurk hatás egy illuzórikus észlelési jelenség , hogy a show- interferencia közötti tárgyalásra és látás , amikor észrevette a beszéd . Ez a hatás a beszédészlelés multimodalitására utal. A McGurk-effektus (más néven McGurk-MacDonald-effektus) akkor fordul elő, amikor a látás és a hallás nem megfelelő beszédjeleket ad. Kétféle jelenség adódik ebből a hibás felfogásból: fúzió és kombináció.
A McGurk-effektus véletlen felfedezése az 1970-es évekig nyúlik vissza, amikor Harry McGurk és John MacDonald, az angliai Surrey Egyetem fejlesztéspszichológusai tanulmányozták a gyermekek beszédészlelését fejlődésük különböző szakaszaiban. Az alanyok egy beszélő anya videó bemutatóját nézték meg. A videó egy hallási előadással párosult a helyiség más helyéről. A / ba / szótag hallható volt, de a képernyőn a "ga" szekvenciát mutatták be. A szalag első megtekintésekor a kutatók észleltek egy harmadik szót / da /, amely az első kettő között artikulációs szinten feküdt. Így a McGurk-effektus szerint, ha valaki látja kiejteni a / ga / szótagot, miközben hallja a / ba / szótagot, az érzékelési illúziót / da / váltja ki. A gyermekek és a felnőttek videóval történő tesztelése után a kutatók 1976-ban a Nature folyóiratban először publikálták az észlelési illúziót, amelyet észrevettek. Ez a cikk címe: Halló ajkak és látni a hangot. A McGurk-hatást sok kutatócsoport reprodukálta és utána tanulmányozta.
A beszédészlelést sokáig kizárólag auditív folyamatnak tekintették. A XX . Század második felében számos tanulmány a vizuális információt a beszéd érzékelésének alapvető hozzájárulásának tekintette. 1954-ben William H. Sumby és Irwin Pollack kutatók bebizonyították, hogy az ajkak olvasása nagymértékben javítja a környezeti zajjal kevert akusztikus jel érthetőségét. Ez hozzájárul a beszéd észleléséhez akkor is, ha a környező zaj növekszik. E kutatók szerint az ajkak olvasása eszköz és kompenzációs eszköz a hallássérült emberek számára. Részt vesz a siket gyermekek szóbeli nyelvének elsajátításában is. Az ajakolvasás javítja a tiszta beszédjel megértését, összetett szemantikai tartalommal. Javíthatja az idegen nyelven beszélő, idegen akcentussal rendelkező beszédek idegen nyelvű beszédeinek megértését, és amikor egy környezeti zajjal rendelkező helyen több beszélő beszélget.
A fúzió és a kombináció az illuzórikus jelenségek két típusa, amelyet a McGurk-effektus során figyeltek meg. Minden jelenség egyfajta mássalhangzókhoz ( fonémához ) kapcsolódik. A hatás eseménysorozata ugyanaz marad. Így a CV (/ ba /) hallótagok párosulnak az artikulációs mozgások vizuális bemutatásával, amelyek megfelelnek egy másik CV (/ ga /) típusú szótagnak, ami finom ellentmondást eredményez a vizuális és a hallási modalitás között. Ezek a módszerek aztán szintézist készítenek a különböző észlelt információkról. Ezeket a jelenségeket fel lehet használni például beszédfelismerő programok készítésénél
A fúziós jelenség egy úgynevezett köztes produkció szimulációjából származik, amely egy észlelt és hallott szótag fúzióját követi. A veláris mássalhangzóval (g, k, w) kezdődő szótagot vizuálisan mutatjuk be. Olyan szótaggal van összekapcsolva, amely kétalakú mássalhangzóval kezdődik (p, b, m), amely hang formában jelenik meg. A két információ összevonása egy köztes produkciót szimulál (például: / da /).
A példa a fúzió jelenségét szemlélteti:
A kombinációs jelenség ötvözi a bilabiális mássalhangzóval kezdődő szótag vizuális bemutatását a veláris mássalhangzóval kezdődő szótag hallgatásával. A két jelenség összeadódik. A bilabiális mássalhangzó (p, b, m) vizuális bemutatása látható. A veláris mássalhangzó (g, k, w) hallási bemutatásával párosul. A téma egyesíti a látott és hallott információkat. Például a / bga / típus kombinációját érzékeli.
Íme egy példa, amely szemlélteti a kombinációs jelenséget:
A McGurk-effektus robusztus hatás . A szótag szerkezete, a szavak vagy mondatok kontextusa nem befolyásolja a jelenségek megjelenését (lásd a 2. szakaszt), függetlenül a szavak vagy mondatok hosszától; például a szótag szerkezete nem számít, hogy CV, VCV vagy még a VC is, a vizuális velár és az orális bilabium kombinációja mindig a fúzió észlelését eredményezi. A hatás a szavakra és a mondatokra is alkalmazható, amennyiben a velárral ellentétben állnak a bilabialisal.
Szótag:
Önéletrajz: Hallva: / ba /
Látva: / ga /
Észlelt: / da /, V
VCV: Hallott: / aba /
Látva: / aga /
Észlelt: / ada /
Szó:
Hallottam: / mail /
Látva: / deal /
Észlelt: / nail /
Fogalmazás:
Hallottam: / babapápám, poo brive /
Láttam: / my gag koke me koo rigó /
Észlelt: / apám vezetésre tanított /
A McGurk-hatás visszafordíthatatlan . Az egyén nem tehet róla, de nem érzékeny a hangzás mechanizmusaira, még akkor sem, ha szándéka ellentétes. Önérzékeny lesz a különböző mechanizmusok iránt. Ez a felfogás azt jelenti, hogy az elme kognitív módon áthatolhatatlan, és feldolgozását anélkül hajtja végre, hogy más kognitív területek (memória, érvelés, figyelmi mechanizmusok stb.) Befolyásolnák.
A McGurk-hatást számos változó befolyásolja különböző kísérleti körülmények között. Először is, több szerző kimutatta, hogy a McGurk hatás befolyásolja a térbeli tájékozódás a beszélő arca, még pontosabban, amikor az arc van döntve, a második, amikor az időbeli szinkron ingerek meghaladja 200ms, a McGurk hatás befolyásolja. Harmadszor, a a tesztelt nyelv eltérhet egyes eredményektől. Ez a változó az ingerek tulajdonságaira utal. A több nyelven (angol, spanyol, maláj, koreai, francia stb.) Végzett vizsgálatok vegyes eredményeket hoztak. Egyes nyelvekben a McGurk-effektus kevésbé tűnik robusztusnak. Például a kínai és japán nyelvtudás érzéketlen a McGurk-effektusra. Ezeket az eredményeket kulturális értelemben lehetne magyarázni; udvariatlannak tekinthető, ha mindkét kultúrában a beszélő arcát nézzük. A hatás változékonysága összefüggésbe hozható a nyelvek fonetikai rendszereinek különbségeivel, különböző fonotaktikai korlátokkal és kulturális különbségekkel.
Ezzel szemben egyes változók nincsenek hatással a McGurk-hatásra. A hallási és a vizuális ingerek térbeli elkülönítése nem befolyásolja a hatás erősségét, amint arról Colin, Radeau, Deltenre és Morais 2001-es tanulmánya beszámolt.