1 Moniaistinen havaitseminen • Miksi moniaistisuus on tärkeää? • Ilmiöitä ja niiden anatomiaa ja fysiologiaa joista tärkeimpinä: – Puheen havaitseminen – Mitä- ja missä-kanavat PSY221 Luento 6. Kaisa Tiippana 17.11.2010 Kytkeytyminen muuhun kurssiin • Kirjassa ei moniaistisuutta juuri yhtään. • Materiaalina luentokalvot ja tukena: –Luku: Tiippana (2006): Moniaistinen havaitseminen. Kirjassa: Mieli ja aivot: kognitiivisen neurotieteen oppikirja. Toim: Hämäläinen, Laine, Aaltonen, Revonsuo (s. 177-184) – löytyy Moodlesta. • Luennolla korostan muun kurssin kanssa yhteisiä asioita. • Markku päättää, painottaako tätä luentoa vähemmän tentissä. • Ympäristöä havainnoidaan luonnostaan useiden aistien avulla. Moniaistisuus Mitä hyötyä on moniaistisuudesta? • Informaatiota useista lähteistä – Lisäinformaatio – Päällekkäinen informaatio • Puhe on luonnostaan audiovisuaalista. – puheen tuottamiseen liittyvät artikulaatioliikkeet näkyvät (osittain) = visuaalinen puhe • Auditorinen puhe yleensä määrää puhehavainnon. • Visuaalinen puhe kuitenkin vaikuttaa havaintoon. Puheen havaitseminen • Huuliltaluku • Auditorinen puheentunnistus tarkempaa, koska visuaalisessa puheessa useat äänteet näyttävät samalta – visuaalisten kategorioiden määrä riippuu mm. koartikulaatiosta, puhujasta ja havaitsijasta
10
Embed
Kytkeytyminen muuhun kurssiin Moniaistinen havaitseminen · –Tarkkaavaisuus –Yksilöerot, eritysryhmät: • Aspergerin syndrooma Audiovisuaalisen puheen integraatio Tarkkaavaisuus
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
1
Moniaistinen havaitseminen
• Miksi moniaistisuus on tärkeää? • Ilmiöitä ja niiden anatomiaa ja
fysiologiaa joista tärkeimpinä:
– Puheen havaitseminen – Mitä- ja missä-kanavat
PSY221 Luento 6. Kaisa Tiippana 17.11.2010
Kytkeytyminen muuhun kurssiin
• Kirjassa ei moniaistisuutta juuri yhtään. • Materiaalina luentokalvot ja tukena:
– Luku: Tiippana (2006): Moniaistinen havaitseminen. Kirjassa: Mieli ja aivot: kognitiivisen neurotieteen oppikirja. Toim: Hämäläinen, Laine, Aaltonen, Revonsuo (s. 177-184) – löytyy Moodlesta.
• Luennolla korostan muun kurssin kanssa yhteisiä asioita.
• Markku päättää, painottaako tätä luentoa vähemmän tentissä.
• Ympäristöä havainnoidaan luonnostaan useiden aistien avulla.
Moniaistisuus Mitä hyötyä on moniaistisuudesta?
• Informaatiota useista lähteistä – Lisäinformaatio – Päällekkäinen informaatio
• Puhe on luonnostaan audiovisuaalista. – puheen tuottamiseen liittyvät artikulaatioliikkeet
näkyvät (osittain) = visuaalinen puhe • Auditorinen puhe yleensä määrää
puhehavainnon. • Visuaalinen puhe kuitenkin vaikuttaa
havaintoon.
Puheen havaitseminen
• Huuliltaluku • Auditorinen puheentunnistus tarkempaa, koska
visuaalisessa puheessa useat äänteet näyttävät samalta
– visuaalisten kategorioiden määrä riippuu mm. koartikulaatiosta, puhujasta ja havaitsijasta
2
• Kuulo- ja näköhavainnon yhdistäminen yhtenäiseksi puhehavainnoksi
• Etuna parempi puheentunnistus – vaikeasti tunnistettavat auditorisen puheen
piirteet ovat usein helposti tunnistettavia visuaalisesta puheesta
– yhden kanavan häiriöt voidaan usein kompensoida toisen kanavan avulla
Audiovisuaalisen puheen integraatio
• Visuaalisesta puheesta on eniten hyötyä kun kuullun signaalin ymmärrettävyys on huono
– kohina – kuulovauriot – kognitiiviset vaikutukset
• vaikeatajuinen viesti • vieras kieli
Audiovisuaalisen puheen integraatio
Kuulovauriot
Erber (1972)
kuulo
näkö
kuulo+näkö
normaali kuuro heikko kuulo:
vastaus- jakaumat:
auditorinen signaali/kohina-suhde
% o
ikeita
vas
tauk
sia
Erber (1969)
Kuulo
Kuulo + näkö
Vieras kieli
Hirata & Kelly (2010). Effects of lips and hands on auditory learning of second-language speech sounds. J Speech Lang Hear Res, 53, 298-310.
Japaninkielinen pitkä-lyhyt-vokaalierottelu parani englanninkielisillä kuuntelijoilla enemmän AV- kuin A- harjoittelulla.
Audiovisuaalisen puheen integraatio
• Vaikka visuaalisen puheen vaikutus tulee yleensä esiin vasta, kun auditorinen signaali on heikko, se ei ole kuitenkaan pelkkä varamekanismi → McGurk-efekti
3
McGurk & MacDonald (1976). Hearing lips and seeing voices.
Nature, 264, 746-748.
McGurk-efekti • Visuaalinen puhe muuttaa havaintoa, niin
että kuullaan jotain muuta kuin auditorinen signaali.
• Osoittaa, että visuaalinen puhe voi vaikuttaa myös kun auditorinen signaali on selkeä.
• Kuultu ja nähty puhe integroidaan yhtenäiseksi puhehavainnoksi. – McGurk-efektin voimakkuus heijastaa
• Muutokset kuuloärsykkeessä aiheuttavat ns. poikkeavuusnegatiivisuus (’mismatch’) MMN-vasteen kuuloaivokuorella.
– MMN syntyy toistuvan standardiärsykkeen seassa silloin tällöin esiintyvälle poikkeavalle (’deviant’) äänelle, kun se pystytään erottamaan standardista.
– esim. /pa/, /pa/, /pa/, /pa/, /pa/, /ta/, /pa/, /pa/…
Auditorinen puhe aivoissa
Näätänen (2001). The perception of speech sounds by the human brain as reflected by the mismatch negativity (MMN) and its magnetic equivalent (MMNm). Psychophysiology, 38, 1-21.
• Syntyykö poikkeavuusnegatiivisuusvaste myös, jos vain visuaalinen puhe muuttuu?
Sams & al. (1991); Möttönen & al. (2002) Sams & al. (1991). Seeing speech: visual information from lip movements modifies activity in the human auditory cortex. Neurosci Lett, 127, 141-145.
V/pa/A/pa/
V/ka/A/pa/
6
A = V
McGurk
visual
auditory
Möttönen, Krause, Tiippana & Sams (2002). Processing of changes in visual speech in the human auditory cortex. Cogn Brain Res 13, 417-425.
Pekkola, Ojanen, Autti, Jääskeläinen, Möttönen, Tarkiainen & Sams (2005): Primary auditory cortex activation by visual speech: an fMRI study at 3T. NeuroReport, 16, 125-128.
Voiko pelkkä visuaalinen puhe aktivoida primaaria kuuloaivokuorta?
Keltaiset ääriviivat rajaavat kuuloaivokuoren. Visuaalisen puheen tuottama aktivaatio merkitty punaisella.
• Visuaalinen ja audiovisuaalinen puhe aktivoivat alueita mm. kuuloaivokuorella.
• Aistit voivat vaikuttaa toisiinsa jo hyvin varhaisessa prosessointivaiheessa. – Aistitiedon prosessointi ei ole niin
• Ihmisellä aktivoituu ohimolohkon eri osia riippuen nähdyn objektin kategoriasta – kasvot, työkalut jne
• Onko visuaalinen kokemus edellytys kategorianmukaiselle järjestäytymiselle? – Onko syntymästä asti sokeilla henkilöllä
samantyyppinen alueellinen erikoistuminen ohimolohkossa kuin näkevillä?
Mahon, Anzellotti, Schwarzbach, Zampini & Caramazza (2009). Category-specific organization in the human brain does not require visual experience. Neuron, 63, 397-405.
Mitä-kanava näössä: moniaistisuus
• Koehenkilöryhmät: syntymästä sokeita / näkeviä
• Ärsykkeet: puhuttuja sanoja / kuvia – eläimiä = elävä – työkaluja tai muita esineitä =
ei-elävä
fMRI-tutkimus:
B: Voxels showing differential BOLD responses for nonliving things compared to animals
ei-elävä > elävä
Figure 3. Contrast Maps for Animal versus Nonliving Stimuli for All Groups of Participants. A: Voxels showing differential BOLD responses for animal stimuli compared to nonliving stimuli
elävä > ei-elävä
8
• Visuaalinen mitä-kanava on järjestäytynyt samantyyppisesti näkevillä ja sokeilla. – Kategorianmukainen järjestäytyminen on
mahdollista myös muiden aistien antaman tiedon avulla.
– Mukana luultavasti myös synnynnäinen (‘hard-wired’) komponentti, joka voi riippua aivoalueen laskennallisesta tehtävästä (‘computational goal’).
Mitä-kanava näössä: moniaistisuus
• Päälaenlohkossa yhdistetään eri aisteista tulevaa tietoa ärsykkeiden sijainnista (missä)
• Näkö-, kuulo- ja tuntoärsykkeisiin reagoivia soluja
• Myös kahden eri aistin ärsytykseen reagoivia soluja
– Juhani Hyvärinen oli tämän tutkimuksen pioneereja 1970-80-luvuilla (esim. review: Hyvärinen, 1982. Posterior parietal lobe of the primate brain. Physiological Reviews, 62, 1060-1129.)
V = näköärsyke S = kuuloärsyke M = motorinen vaste • Yhteys eri aistien antaman tiedon ja
motoriikan välillä • Yhteys oman ja muiden toiminnan välillä
– Merkitys: Simulaatio, toiminnan ymmärtäminen, matkiminen, oppiminen…
Peilisolut
• Näköärsykkeeseen reagoidaan nopeammin ja tarkemmin, jos sen yhteydessä esitetään ‘ylimääräinen’ kuuloärsyke samasta suunnasta. ➞ Näkö- ja kuuloinformaatio vaikuttavat
yleensä eniten toisiinsa, jos niiden voidaan tulkita tulevan samasta kohteesta.