1.3.2009 1 Umjetna inteligencija - Hibridni inteligentni sustavi – 47895/47816 UMINTELI HG/2008-2009 Sveučilište u Zagrebu Fakultet prometnih znanosti Diplomski studij Hibridni inteligentni sustav • Sustav sastavljen od više inteligentnih tehnologija – Vjerojatnosno zaključivanje – neizvjesnost – Neizrazita (fuzzy) logika – približno računanje – Neuronske mreže – učenje, prilagoĎenje – Evolucijski, genetski algoritmi – optimizacija • Meko računanje – Izrada HIS sposobnih zaključivati, učiti i prilagoĎavati se u nesigurnoj i neizvjesnoj okolini
22
Embed
Fakultet prometnih znanosti Diplomski studij...1.3.2009 1 Umjetna inteligencija - Hibridni inteligentni sustavi – 47895/47816 UMINTELI HG/2008-2009 Sveučilište u Zagrebu Fakultet
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
1.3.2009
1
Umjetna inteligencija
- Hibridni inteligentni sustavi –
47895/47816 UMINTELI
HG/2008-2009
Sveučilište u Zagrebu
Fakultet prometnih znanostiDiplomski studij
Hibridni inteligentni sustav
• Sustav sastavljen od više inteligentnih tehnologija
– Vjerojatnosno zaključivanje – neizvjesnost
– Neizrazita (fuzzy) logika – približno računanje
– Neuronske mreže – učenje, prilagoĎenje
– Evolucijski, genetski algoritmi – optimizacija
• Meko računanje
– Izrada HIS sposobnih zaključivati, učiti i prilagoĎavati se
u nesigurnoj i neizvjesnoj okolini
1.3.2009
2
Meko računanje
• Tradicionalno tvrdo računanje koristi
– izrazite, jasne vrijednosti ili brojeve
• Meko, približno računanje koristi
– neizrazite, nejasne vrijednosti izražene neizrazitim
skupovima ili riječima
• Čovjek:
– Osjetila: prikupljanje mekih podataka
– Mozak: približno zaključivanje, odlučivanje bez
brojeva
– Aktuatori: komunikacija riječima i brojevima
Usporedba inteligentnih tehnologija
ES NS NM GA
Prikaz znanja ○ ● □ ■
Snošljivost dvojnosti podatka ○ ● ● ●
Snošljivost netočnosti podatka □ ● ● ●
Prilagodljivost □ ■ ● ●
Sposobnost učenja □ □ ● ●
Sposobnost pojašnjenja ● ● □ ■
Otkriće znanja i dubinska analiza □ ■ ● ○
Održavanje □ ○ ● ○
ES - ekspertni sustavi, NS – neizraziti sustavi, NM – neuronske mreže, GA – genetski algoritmi
□ loše, ■ prilično loše, ○ prilično dobro, ● dobro
1.3.2009
3
Hibridni ekspertni sustavi
• Sinergija inteligentnih tehnologija
– Neuro-ekspertni sustavi
– Neuro-fuzzy ekspertni sustavi
– Evolucijsko neuronski ekspertni sustavi
– Fuzzy evolucijski ekspertni sustavi
Neuro-ekspertni sustavi
• Ekspertni sustavi
– Modeliranje zaključivanja
– Objšnjavanje zaključivanja
– Nemogućnost učenja na temelju iskustva
• Neuronske mreže
– Modeliranje strukture i funkcije mozga
– Istovremena obrada podataka
– Mogućnost samostalnog učenja, poopćavanja
• Konekcionistički ekspertni sustavi
1.3.2009
4
Struktura neuro-ekspertnog sustava
Izvlačenje pravilaNeuronska baza znanja
Baza podatakaPravila: AKO-
ONDA
Mehanizam zaključivanja
Mehanizam objašnjavanja
Korisničko sučelje
Korisnik
Novi
podaci
Podaci za vježbanje
Novi podaci se ne moraju
točno preklapati s podacima u
neuronskoj bazi znanja, kao
što je to nužno kod
produkcijskih pravila
Pridobivanje pravila iz znanja
implicitno zapisanog u
neuronskoj mreži
Izvlačenje pravila iz neuronske mreže
Pravilo 1
Pravilo 2
Pravilo 3
Krila
Rep
Kljun
Perje
Motor
Ptica
Zrakoplov
Jedrilica
Težine veza u neuronskoj mreži, dobivene vježbanjem mreže na primjerima,
odgovaraju jakosti i važnosti povezanih neurona
+1 istina
0 nepoznato
-1 laž
n
iiiwxX
1
01
01
X
XY AKO X ONDA Y
1.3.2009
5
Pravila iz mreže
Pitanja korisniku:
Neuron: Krila Pitanje: Da li objekt ima krila?
Neuron: Rep Pitanje: Da li objekt ima rep?
Neuron: Kljun Pitanje: Da li objekt ima kljun?
Neuron: Perje Pitanje: Da li objekt ima perje?
Neuron: Motor Pitanje: Da li objekt ima motor?
1
02.4)3.1()1()9.2(1)0.1(1)1.1(0)6.0(1
1
02.49.1)1()6.0(10.01)1.0(0)7.0(1
1
03.5)1.1()1(8.212.21)2.0(0)8.0(1
3
3
2
2
1
1
JedrilicaraviloP
raviloP
ZrakoplovraviloP
raviloP
PticaraviloP
raviloP
YY
X
YY
X
YY
X
Višeslojna neuronska baza znanja
Ulazni sloj Povezni
unutarnjii
sloj
Razdvojni
unutarnjii
sloj
Povezni
unutarnjii
sloj
Razdvojni
unutarnjii
sloj
Pravilo R1:
AKO a1 I a3 ONDA b1 (0.8)
Pravilo R2:
AKO a1 I a4 ONDA b1 (0.2)
Pravilo R3:
AKO a2 I a5 ONDA b2 (-0.1)
Pravilo R4:
AKO a3 I a4 ONDA b3 (0.9)
Pravilo R5:
AKO a5 ONDA b3 (0.6)
Pravilo R6:
AKO a1 I b3 ONDA c1 (0.7)
Pravilo R7:
AKO b2 ONDA c1 (0.1)
Pravilo R8:
AKO b2 I b3 ONDA c2 (0.9)
1.3.2009
6
Neuro-fuzzy ekspertni sustavi
• Neuronske mreže– sirovi podaci
– učenje
• Neizraziti sustavi– lingvističke informacije
– prikaz znanja
– neizraziti (Mamdani) način zaključivanja
– sposobnost objašnjavanja
• Transparentnost neuronskih mreža i sposobnost učenja neizrazitih sustava
Neizraziti ekspertni sustav ...
Pravilo 1: AKO x1 je A1 (μA1) I x2 je B1 (μB1) ONDA y je C2 (μC2)
Pravilo 2: AKO x1 je A1 (μA1) I x2 je B2 (μB2) ONDA y je C2 (μC2)
Pravilo 3: AKO x1 je A1 (μA1) I x2 je B3 (μB3) ONDA y je C1 (μC1)
Pravilo 4: AKO x1 je A2 (μA2) I x2 je B2 (μB2) ONDA y je C2 (μC2)
Fuzifikacija i razvoj pravila
Ulazi:
x1 (A1, A2, A3)
x2 (B1, B2, B3)
Izlaz:
y (C1, C2)
1.3.2009
7
Neizraziti ekspertni sustav
Pravilo 5: AKO x1 je A3 (μA3) I x2 je B3 (μB3) ONDA y je C2 (μC2)
Pravilo 6: AKO x1 je A3 (μA3) I x2 je B1 (μB1) ONDA y je C1 (μC1)
y je C1 (μC1max) y je C2 (μC2
max)
Agregacija i defuzifikacija
Neizraziti sustav preslikan u mrežu1. sloj
Izraziti ulaz2. sloj
Funkcije pripadnosti
ulaza
4. sloj
Funkcije pripadnosti
izlaza
3. sloj
Neizrazita pravila
5. sloj
Defuzifikacija
P1
P2
P3
P4
P5
P6
1.3.2009
8
Struktura neuro-fuzzy sustava (1)
• 1. sloj – Ulazni sloj
yi(1) = xi
(1)
• 2. sloj – Funkcija pripadnosti ulaza
– fuzifikacija
– aktivacijska funkcija fuzifikacijskog neurona
odgovara neizrazitom skupu pridruženom
pravilu
Aktivacijska funkcija trokuta
20
22
21
20
)2(
)2(
)2(
)2(
)2(
baxako
bax
baako
b
ax
baxako
y
i
i
i
i
i
Parametri a (središte) i b (širina)
trokuta odgovoraraju sinaptičkim
težinama u neuronskoj mreži
1.3.2009
9
Struktura neuro-fuzzy sustava (2)
• 3. sloj – neizrazita pravila
– svaki neuron odgovara neizrazitom pravilu
– konjunkcija (min) ulaza (AKO dijela) pravila se
kod neizrazitih skupova ostvaruje operacijom
presjeka (množenja)
111
)3(
1
)3()3(
2
)3(
1
)3(
PBAP
kiiii
y
xxxy
Struktura neuro-fuzzy sustava (3)
• Težine izmeĎu 3. i 4. sloja odgovaraju
normaliziranim stupnjevima (faktorima)
uvjerenosti u istinitost neizrazitih pravila
– Težine se uspostavljaju u fazi učenja sustava
• 4. sloj – funkcije pripadnosti izlaza
– disjunkcija (max) izlaza (ONDA dijela) pravila
se kod neizrazitih skupova ostvaruje
operacijom unije (algebarskog zbroja)
163
)4(
1
)4()4(
2
)4(
1
)4(
CPPC
liiii
y
xxxy
1.3.2009
10
Struktura neuro-fuzzy sustava (4)
• 5. sloj – defuzifikacija
– metode defuzifikacije
• slaganje zbroja i umnoška (usrednjavanje)
• aC1 i aC2 su središta, a bC1 i bC2 su širine
neizrazitih skupova C1 i C2
2211
222111
CCCC
CCCCCC
bb
babay
Primjer neuro-fuzzy ekspertnog sustava
• Razdioba 100 uzoraka za vježbanje mreže u
X1 x X2 x Y prostoru lingvističkih varijabli:
malo (M) i veliko (V)
MM
M V
V
V
1.3.2009
11
Provjera pravila stručnjaka
• Stručnjak postavlja pravila - brže učenje
• Mogućnost netočnog ili redundantnog pravila
M
M
V
V
V
M
Normalizirani stupanj uvjerenosti
• Početna vrijednost težina izmeĎu 3. i 4.
sloja je jednake 1
• wP2 = 0, pravilo postaje redundanto i ne
utječe na rad sustava
Operacija isključivo ILI
Epoha
T
e
ž
i
n
a
wP1wP5
wP3 wP4
wP2
1.3.2009
12
Generiranje pravila iz podataka
• Sustav početno sastavljen od 22 x 2 =
8 pravila i vježba na lingvističkim podacima
Operacija isključivo ILI
Normalizirani stupanj uvjerenosti
• Početna vrijednost težina izmeĎu 3. i 4.
sloja je jednaka 0.5
• Poslije učenja odbacivanje svih pravila
wPi < 0.1 wP2
wP8
wP3 wP5
wP6 & wP7
wP4
wP1
Epoha
T
e
ž
i
n
a
1.3.2009
13
Evolucijsko neuronski ekspertni sustavi
• Nedostaci primjene neuronskih mreža
– algoritam učenja mreže (back-propagation) ne
jamči optimalno rješenje (prijenosna funkcija je
derivabilna) – ostajanje u lokalnom ekstremu
– odabir prikladne topologije mreže – heuristika
• Genetski algoritmi – učinkovite tehnike
– prilagodbe težina
– odabira topologije
Odarbir optimalnog skupa težina mreže
• Slučajni izbor početnih vrijednosti težina [-1, 1]
• Prikaz (kodiranje) težina – kromosomom sa 16 gena
Od/Do
1.3.2009
14
Genetske operacije - križanje
1. roditelj 2. roditelj
DijeteOperacija križanja
- dijete ima gene (dijelove
kromosoma) oba roditelja
Genetske operacije - mutacija
Operacija mutacije
- slučajni izbor gena i dodavanje male vrijednosti [-1, 1]
Izvorna mreža Mutirana mreža
1.3.2009
15
Odabir topologije mreže
• genetskom pretragom prostora mogućih topologija mreže (populacija)
• Kodiranje (prikaz) strukture mreže• više informacija – skuplje računanje
• izravno kodiranje
• primjena na otvorene mreže bez povratnog djelovanja
• matrica povezanosti– 0 – veza izmedju neurona ne postoji,
– 1 – postoji veza i težina se mijenja učenjem
Izravno kodiranje strukture mreže
Od/Do
1.3.2009
16
Genetski algoritam razvoja mreže ...
1. Odabrati veličinu populacije kromosoma, vjerojatnost križanja i mutacije, te broj epoha vježbanja
2. Odabrati funkciju uspješnosti f(x) za mjerenje djelotvornosti kromosoma (odabir za reprodukciju) i mreže (točnost, brzina učenja, veličina, složenost)
• Izbrisati sve povratne veze (izravno kodiranje – samo otvorene mreže)
• Postaviti male [-1, 1] početne vrijednosti težina
• Učiti mrežu na primjerima za odreĎeni broj epoha
• Izračunati zbroj kvadratnih pogrešaka i odrediti djelotvornost mreže
1.3.2009
17
Genetski algoritam razvoja mreže ...
5. Ponavljati 4. korak za sve kromosome u
populaciji
6. Odabrati par kromosoma za repordukciju prema
vjerojatnosti njihove uspješnosti
7. Primjenom genetskih operatora križanja i
mutacije proizvesti par potomaka
• križanjem se na slučajnom mjestu kromosoma
roditelja zamjenjuje genetski niz
• mutacijom (mala vjerojatnost pojave – 0.005) se
komplementiraju jedan ili dva gena (bita) kromosoma
Genetski algoritam razvoja mreže
8. Proizvedeni potomci ulaze u novu populaciju
9. Ponavljati 6. korak sve dok veličina nove populacije kromosoma nije jednaka veličini početne populacije, a onda zamijeniti početnu (roditeljsku) populaciju s novom populacijom (potomaka)
10.Vratiti se na 4. korak i postupak ponavljati dok nije dostignut zadani broj naraštaja
1.3.2009
18
Razvoj topologije neuronske mrežeNeuronska mreža j
Uspješnost = 117
Naraštaj i
Naraštaj (i + 1)
Primjeri za vježbanje
Križanje
Mutacija
Roditelj 1
Roditelj 2
Potomak 1
Potomak 2
Fuzzy evolucijski ekspertni sustavi
• Primjena evolucijskog računanja u konstrukciji
neizrazitih sustava
– generiranje neizrazitih pravila
– prilagodba funkcija pripadnosti
• Primjena genetskog algoritma u odabiru skupa
neizrazitih AKO-ONDA pravila kod rješavanja
problema klasifikacije
– skup pravila se generira iz numeričkih podataka
– neizrazita rešetkasta podjela prostora (ulaznih)
mogućih rješenja – važan izbor gustoće podjele
1.3.2009
19
Neizrazita podjela prostora
• Neizrazita rešetkasta podjela 2D ulaznog prostora u 3 x 3 neizrazite podprostore
• Rešetkasta podjela kao tablica pravila:
– vrijednosti ulaza• x1 (A1, A2, A3)
• x2 (B1, B2, B3)
• na presjeku x1 i x2posljedični dio pravila
– svaki podprostor jedno pravilo - K x K pravila
Klasa 1:
Klasa 2:
Opći oblik pravila
• K = broj intervala na pojedinoj osi
• xp = primjer u ulaznom prostoru X1 x X2
• Cn = posljedični dio pravila (Klasa 1 ili Klasa 2)
• CFCnAiBj = faktor sigurnosti (uvjerenosti) da primjer
u neizrazitom podprostoru AiBj pripada klasi Cn
PpxxxCFCxONDA
KjBjjexI
KiAjexAKO
P
ppp
C
BAnp
p
ip
ij
n
ji,,2,1),2,1(
,,2,12
,,2,11
:raviloP
1.3.2009
20
OdreĎivanje posljedičnog dijela pravila i
faktora sigurnosti
1. Podijeliti ulazni prostor na K x K neizrazitih
podprostora i izračunati jakost svake klase
primjera u pojedinom neizrazitom
podprostoru
– više primjera dovodi do jače klase
– vezanost posljedičnog dijela jača, sigurnija uz
klasu kada se primjeri jedne klase pojavljuju
više puta nego li primjeri druge klase
Izračun jakosti klase
• Jakost klase Cn u podprostoru AiBj
• μAi(x1p) i μBij(x2p) = stupnjevi pripadnosti
primjera xp neizrazitim skupovima Ai i Bi
)2,1(),2()1(1
ppppB
P
Cx
ppA
C
BA xxxxxj
np
i
n
ji
73.0
09.109.011.0
12.087.034.092.089.075.0
)()()()(
)6()()()(
2
151588
644
1
12
1212
121212
Klasa
BA
BABA
BABA
Klasa
BA
xxxx
xxxx
1.3.2009
21
OdreĎivanje posljedičnog dijela pravila
2. Posljedični dio pravila odreĎuje najjača
klasa Cm
• u primjeru
• u podprostoru A2 i B1 posljedični dio pravila
je Klasa 1
N
jijijiji
C
BA
C
BA
C
BA
Cm
BA ,,,max 21
73.0
09.1
2
1
12
12
Klasa
BA
Klasa
BA
OdreĎivanje faktora sigurnosti
• Faktor sigurnosti pripadnosti posljedičnog
dijela neizrazitog pravila podprostoru A2 i B1
1
1
1
N
CF
N
mn
n
C
BA
BA
N
n
C
BA
BA
C
BAC
BA
n
ji
ji
n
ji
ji
m
jim
ji
20.073.009.1
73.009.11
12
Klasa
BACF
1.3.2009
22
Hibridni ekspertni sustavi - literatura• Fu, L.M. (1993). Knowledge-based connectionism for revising domain theories, IEEE Transactions on