Kausaaliverkot ja todennäköisyyslaskennan kertaus Sivut 3-17

S ysteemianalyysinLaboratorioTeknillinen korkeakoulu

Esitelmä 1 - Juuso LiesiöOptimointiopin seminaari - Syksy 2005

Kausaaliverkot ja todennäköisyyslaskennan kertaus

Sivut 3-17

Juuso Liesiö



Sisältö

• Päättely epävarmuuden vallitessa

• Kausaaliverkot• Erilaiset kytkennät, evidenssin välittyminen

• d-erotuksen käsite

• Todennäköisyyslaskennan kertaus• Todennäköisyys

• Satunnaismuuttujat

• Ehdollinen riippumattomuus

• Potentiaalit



Päättely epävarmuuden vallitessa

• Esim. Auton käynnistymisen epävarmuus• Kuinka todennäköisesti auto käynnistyy?

• Käynnistymiseen vaikuttavat polttoaineen määrä ja sytytystulppien puhtaus ja ne ovat epävarmoja

• Toisaalta näyttääkö polttoainemittari oikein?

• Jos totean mittarin näyttävän tankin olevan täynnä, onko käynnistymisen epävarmuus muuttunut?

• Jos auto ei käynnistynyt ja mittari näyttää tankin olevan täynnä, muuttuuko sytytystulppien puhtauteen liittyvä epävarmuus



Päättely epävarmuuden vallitessa• Ongelmamme sisältää

– Tilaltaan epävarmat muuttujat– Muuttujien mahdolliset tilat– Kausaalisuhteet (syy-seuraussuhteet)

Tämä on kausaaliverkko!

Polttoainetta? {kyllä, ei}

Puhtaat sytytystulpat

{kyllä, ei}

Käynnistyykö?

{kyllä, ei}

Mittarin asento

{0%,50%,100%}



Kausaaliverkot (1/2)• Kausaaliverkko on suunnattu verkko

– Solmut kuvaavat muuttujia• Muuttujalla äärellinen määrä mahdollisia tiloja

• Tila yksikäsitteinen, mutta epävarma

– Kaaret kuvaavat kausaalisuhteita

• Käyttö: Vaikuttaako epävarmuuden muutos yhden muuttujan tilasta toisen muuttujan tilojen epävarmuuteen?

• Ei kiinnitetä epävarmuuden laskennallista mallia



Kausaaliverkot (2/2)

• Muuttujien suhteista– B on A:n lapsi

– A on B:n vanhempi• Lapset ja vanhemmat ovat naapureita

– B, C ja D ovat A:n jälkeläisiä

• Epävarmuus muuttujien tilasta– Evidenssi: tietoa tilojen epävarmuudesta

• Kova evidenssi tila tunnetaan, tila ilmentynyt• Pehmeä evidenssi tilan epävarmuus muuttuu

A

CB

D



Sarjakytkentä

– Evidenssi voi välittyä sarjakytkennän läpi (kumpaankin suuntaa), ellei kytkennässä olevan muuttujan V tila ole tunnettu (ilmentynyt)

• Flussa lisää pahoinvoinnin todennäköisyyttä, mikä puolestaan lisää kalpeuden todennäköisyyttä

• Jos ihminen voi pahoin, ei tieto flunssasta muuta kalpeuden todennäköisyyttä

A BV

PahoinvointiFlunssa Kalpeus



Haarautuva kytkentä

– Evidenssi voi välittyä lapsien välillä ellei haarassa olevan muuttujan V tila ole tunnettu (ilmentynyt)

• Pitkä ihminen on todennäköisesti mies ja miehillä on todennäköisesti on lyhyet hiukset

• Jos tiedät että kyseessä on mies, ei tieto pituudesta vaikuta hiustenpituuteen liittyvään epävarmuuteen

V

CB E...

Sukupuoli

Hiusten pituus Pituus



Yhdistyvä kytkentä

– Evidenssi välittyy vanhempien välillä vain jos jälkeläisten ( ) tilasta on evidenssiä (muuta kuin vanhemmista

johdettua informaatiota)• Sekä salmonella että flunssa voivat

aiheuttavaa paihoinvointia, eikä tieto flunsasta muuta salmonellan epävarmuutta

• Jos henkilö todetaan kalpeaksi, tieto että flunssaa ei ole nostaa salmonellan todennäköisyyttä

Salmonella

Pahoinvointi

Flunssa

Kalpeus

CB E...

1V

nV

...

nVV ,...,1



D-erotus (1/5)• Määritelmä: d-erotus (direction dependent criterion of

connectivity)

• Kaksi muuttujaa A ja B ovat d-erotetut jos kaikilla poluilla A:sta B:hen löytyy muuttuja V s.e.

1) kytkentä on sarjakytkentä tai haarautuva kytkentä ja V on ilmentynyt

2) tai kytkentä on yhdistyvä ja V tai sen jälkeläiset eivät ole saaneet evidenssiä

A B...

V

nV

...

...

A BV ......

nVV ,...,1

V

A B

... ...

),( BA



D-erotus (2/5)• Väite:

– Jos A ja B ovat d-erotettuja, niin epävarmuuden muutos A:ssa ei vaikuta B:n epävarmuuteen

• Ilman tietoa auton käynnistymisestä, tieto sytytys-tulppien puhtaudesta ei vaikuta polttoaineen olemassaolon tai mittarin asentoon liittyvään epävarmuuteen Polttoainetta?

{kyllä,ei}

Puhtaat sytytystulpat

{KYLLÄ, ei}

Käynnistyykö?

{ei,kyllä}

Mittarin asento

{0%,50%,100%}



D-erotus (3/5)• Kun e on kova evidenssi, F on d-erotettu

– A:sta• D:n kautta sarjakytkentä, D ilmentynyt

• B:n kautta sarjakytkentä, B ilmentynyt

– E:stä • B:n kautta haarutuva kytkentä, B ilmentynyt

– G:stä• D:n kautta haarautuva kytkentä,

D ilmentynyt



D-erotus (4/5)

• Kun e on kova evidenssi, A on d-erotettu ainoastaan G:sta:

• Evidenssi A:sta välittyy polkua A-D-H-K-I-E-C-F-J-L



D-erotus (5/5)• Kun e on kova evidenssi E ei ole

d-erotettu F:stä, B:stä tai A:sta– Evidenssi välittyy polkua E-H-F-B-

D-A

– E on siis d-yhdistetty F:n, B:n ja A:n kanssa, vaikka kaikki E:n naapurit ilmentyneet



Markov-peite (1/2)

• Määritelmä: Markov-peite– Muuttujan A Markov-peitteeseen kuuluvat A:n

vanhemmat ja lapset sekä lasten muut vanhemmat

• Huomio– Jos A:n Markov-peitteen kaikki muuttujat

ilmentyneet, niin A on d-erotettu muusta verkosta



Markov-peite (2/2)

– Punaisella E:n Markov-peite, jonka kaikki muuttujat ovat ilmentyneet

– Nyt E on d-erotettu A:sta ja B:stä, koska kaikilla poluilla on sarjakytkennässä ilmentynyt muuttuja

• Siis muuttujat C, D ja F



Tapahtumat ja todennäköisyys

• Tapahtuman a todennäköisyys P(a)• i) Tapahtuma a on varma, jos P(a)=1

• ii) Jos tapahtumat a ja b ovat toisensa poissulkevia eli niin

• Ehdollinen todennäköisyys• a:n todennäköisyys jos b on tapahtunut on x

• Merkintä P(a|b)=x

• Huom! Merkintä olettaa että kaikki muut tapahtumat ovat epäoleellisia a:lle

)()()( bPaPbaP 0)( baP



Perussääntö ja Bayesin kaava• Todennäköisyyslaskun perussääntö

• , missä P(a,b) on todennäköisyys että tapahtuu a ja b

• Ehdollistaminen tapahtuman c suhteen

• Bayesin kaava• Perussäännöstä seuraa ,

eli Bayesin kaava

• Ehdollistaminen tapahtuman c suhteen

),()()|( baPbPbaP

)|,()|(),|( cbaPcbPcbaP

)()|()()|( aPabPbPbaP )(/)()|()|( aPbPbaPabP

)|(

)|(),|(),|(

caP

cbPcbaPcabP



Likelihood

• Ehdollinen todennäköisyys P(a|b)– Nimitetään myös “a:n likelihood ehdolla b” ja

merkitään L(a|b)

– Esim. eri skenaarioita joilla vaikutus a:n tapahtumiseen ja tiedetään että a on tapahtunut. Kuinka todennäköistä on, että on a:n syy kun ?

nbb ,...1

ibnbP i /1)(

sta:riipu ei),|()(

)()|()|( ikbakP

aP

bPbaPabP i

iii



Satunnaismuuttujat (1/4)

• Satunnaismuuttuja A• Mahdolliset (toistensa poissulkevat) tilat

• A:n Todennäköisyys jakauma yli tilojen

• Todennäköisyys sille, että

• Kun on selvä mihin satunnaismuuttujaan viitataan, merkitään

naa ,...1

n

iii

Tn xxxxAP

11 1,0,),...()(

ii xaA on

)()( ii aPaAP




• Olkoon B satunnaismuuttuja, jolla tilat • P(A,B) on n kertaa m taulukko, jossa alkioina

todennäköisyydet

• P(A|B) on n kertaa m taulukko, jossa alkioina todennäköisyydet

• Taulukoilla laskeminen• Merkitään

• Lasketaan

)()|(),( BPBAPBAP

),( ji baP

mbb ,...,1

)|( ji baP

)()|(),( jjiji bPbaPbaP




• Marginalisointi– P(A,B):n avulla voidaan laskea reunajakauma P(A)

• Tapahtumat toistensa poissulkevia, joten ii)-aksiooman perusteella

• Merkintä

),(),...,,( 1 mii baba

m

jjii baPaP

1

),()(

B

BAPAP ),()(




4.0

6.0

7.0

3.0

6.0

4.0

)|( 321

2

1

bbb

a

a

BAP

)2.0,4.0,4.0()( BP

)()|(),( jjiji bPbaPbaP

08.0

12.0

28.0

12.0

24.0

16.0

),( 321

2

1

bbb

a

a

BAP

13.0

47.0

4.0

3.0

3.0

4.0

)|( 21

3

2

1

aa

b

b

b

ABP

3

1

),()(j

jii baPaP

)6.0,4.0()( AP

)(

)()|()|(

i

jjiij aP

bPbaPabP



Ehdollinen riippumattomuus (1/2)

• Ajatellaan sarjaan kytkentää– Jos tiedetään ei tieto C:stä vaikuta A:n

epävarmuuteen

– Muuttuja A ja C ovat riippumattomat annettuna muuttuja B

– Todennäköisyyksillä asia ilmaistaan

– Merkitään , vaikka taulukot ovat eri dimensiota

A CB

jbB

kjicbaPbaP kjiji ,,),|()|(

),|()|( CBAPBAP



Ehdollinen riippumattomuus (2/2)

• Ehdollinen riippumattomuus on symmetrinen– Jos pätee niin käyttämällä

Bayesin kaavaa

• Seuraus– Jos pätee , niin

)|()|(

)|()|(

)|(

)|(),|(),|( BCP

BAP

BCPBAP

BAP

BCPBCAPABCP

),|()|( CBAPBAP

)|()|()(),|(),(),,( BCPBAPAPABCPBAPCBAP )|(),|( BCPABCP

A CB



Potentiaalit

• Todennäköisyystaulukoita nimitetään yleisemmin potentiaaleiksi

• Esim. , jolloin potentiaalin määrittelyjoukko on

• Näitä voidaan kertoa ja marginalisoida, kuten edellä nähtiin– Tuloksena uusi potentiaali

• Kertomisella ja marginalisoinnilla tärkeitä ominaisuuksia

},{)( BAdom )|(),( BAPBA



Potentiaalien kertominen

– Olkoon A ja B satunnaismuuttujia• Alkioittain pätee

– Olkoon A, B ja C satunnaismuuttujia• Alkioittain pätee

)()()() 2121 domdomdomi

1221akivaihdantal) ii

)()(kiliitäntäla) 321321 iii

ö)PerussääntBayesBayes

()|,()()(),|()|()()(),|(),(),,(

jkij

jikjij

jikjikji

bcaPbPbacPbaPbP

bacPbaPcbaP

)()|()|()(),( iijijiji aPabPabPaPbaP



Potentiaalien marginalisointi (1/4)– iv) Yksikköpotentiaalille 1 pätee

– Marginalisointi• Merkintä eli “summataan yli A:n”

– Mariginalisointi järjestys on vaihdettavissa• Esim.

A B AB

v akivaihdantal)

1 ja0)1(dom

A

k j

kjik j

kjii cbaPcbaPaP ),,(),,()(



– Marginalisointia C:n suhteen ei tarvitse tehdä potentiaaleille, joiden määrittelyalueeseen C ei kuulu

• Esim.

Potentiaalien marginalisointi (2/4)

),(1),(),|(),(

),|(),(),,(),(

jijik

jikji

kjikji

kkjiji

baPbaPbacPbaP

bacPbaPcbaPbaP

AA

domAvi 21211)(kiosittelula)



– Ehdollistetun muuttujan marginalisointi tuottaa yksikkö potentiaalin

• Esim. on summa toistensapoisulkevien tapahtumien yli ja toisaalta on varmaa että A saa jonkin arvon, joten


i ji baP )|(

1)|( i ji baP

ukkomuuttujajoon missä

,1)|(inaisuusentiaaliomyksikköpot)

V

VAPviiA




• Vaihtoehtoinen merkintä marginalisoinnille

• V joukko muuttujia, joita “ei summata yli”

• “Projektoidaan V:lle”

• Ominaisuudet uudella notaatiolla

Vdom

V

\)(

:

VV

VWWV

Vdomviv

)()()(kiosittelula))()(akivaihdantal)

21211

Kausaaliverkot ja todennäköisyyslaskennan kertaus Sivut 3-17

Documents