1. Motivacija - FER · Usporedba ljudskog mozga i računala • Arhitektura i organizacija mozga gotovo je potpuno različita od arhitekture konvencionalnih računala koja su danas
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
1
Zavod za elektroniku, mikroelektroniku, računalne i inteligentne sustave
• Automatiziranu obradu podataka danas uglavnom rade digitalna računala.
• Ipak, još je uvijek daleko više podataka čija obrada nije automatizirana. Te podatke obrađuju …
… živčani sustavi živih organizama!
• Razvoj jedne grane računarstva motiviran je razmatranjem prevladavajućeg načina obrade podataka u svijetu u kojem živimo.
• Tražimo drugačiji koncept obrade podataka koji bi bio sličniji funkcioniranju biološkog mozga.
• A.I. - sustav koji uspješno oponaša rad mozga bio bi inteligentan.
1.1.
SadržajSadržaj
1. Uvod u neuro-računarstvo Povijesni pregled • Pravci AI • Definicija i vrste • Primjena • Učenje • Živčani sustav i biološki neuron • Model neurona i vrste • Arhitektura mreža
2. Procesni elementiPerceptron • Pravilo perceptrona • Primjer • Učenje booleovih funkcija • Linearna odvojivost • XOR problem • Višeslojna mreža perceptrona • Linearna regresija • Srednja kvadratna pogreška • Gradijentni spust • LMS algoritam
3. Backpropagation algoritamBACKPROPAGATION algoritam i interpretacija skrivenog sloja • Primjeri uporabe neuronskih mreža • Primjer sustava za raspoznavanje
Motivacija razvoja neuro-računarstvaMotivacija razvoja neuro-računarstva
• Istraživanja u neurofiziologiji i kognitivnoj znanosti upućuju: mozak se sastoji od velikog broja neurona koji rade paralelno.
• Najsličniji model: računalni sustav u kojem brojni procesni elementi podatke obrađuju paralelno.
• Područje koje se bavi tim aspektom obrade: neuro-računarstvo
• Grane računarstva iz skupine tzv. ‘mekog računarstva’ (engl. soft computing).
1.1.
Usporedba ljudskog mozga i računalaUsporedba ljudskog mozga i računala
• Arhitektura i organizacija mozga gotovo je potpuno različita od arhitekture konvencionalnih računala koja su danas u širokoj uporabi (von Neumannova računala):
ispravneispravne/neispravneinformacije
digitalnianalognisignali
serijskiserijski, paralelnonačin rada
<= 32*103 - 104broj veza
<= 32*oko 1011broj procesora
ns ciklus2 ms ciklusbrzina prijenosa
logička vrataneuron (>100 vrsta)gradbeni element
računalomozakatribut
1.1. ...mozga i super-računala?...mozga i super-računala?
• Earth Simulator (NEC - Kanazawa, Japan)• 640 čvorova sa po 8 vektorskih procesora = 5120 procesora• 5x brži od dosadašnjeg prvaka (IBM ASCI White, 8192 procesora)• http://www.top500.org (koristi se LINPACK benchmark test)
1.1.
2
Povijesni pregled neuro-računarstvaPovijesni pregled neuro-računarstva
• 1940.Von Neumann – EDVAC izvješće
• 1943.McCulloch i Pitts (MIT) – matematički model neurona (Automata Theory). Procesna moć ondašnjih računala je šarmantno slaba - prva praktička ostvarenja tek u kasnim ’70 (pojava LSI računala).
• 1948.Wiener - kibernetika
• 1949.Hebb - učenje kao metabolička promjena u neuronima - temelje razvoja mehanizama učenja mreža (Hebbovo pravilo).
• 1951.Minsky i Edmonds - učenje stroja temeljenog na mrežnoj strukturi.
1.1. Hebbovo učenje Hebbovo učenje 1.1.
• Hebbovo pravilo izravno tumači Pavlovljev uvjetni refleks
Povijesni pregled neuro-računarstvaPovijesni pregled neuro-računarstva
• 1958.Rosenblatt – Perceptron i “Pravilo perceptrona”.
1.1. Povijesni pregled neuro-računarstvaPovijesni pregled neuro-računarstva
‘Credit assignment problem’
Kako odrediti koliko je svaki procesni element odgovoran za pogrešku mreže na izlazu?!
Minsky i Papert: ‘Perceptrons’, 1969.
• Zaključuju: nema mnogo nade da će se problem učenja višeslojne mreže ikada riješiti - ne možemo riješiti probleme koji nisu linearno odvojivi.
• ANN na 20-tak godina postaju scientia non grata• Daljnja istraživanja u sjeni mainstream AI (Grossberg,
Fukushima, Kohonen, Aleksander).
1.1.
Povijesni pregled neuro-računarstvaPovijesni pregled neuro-računarstva
• 1982.Renesansa ANN: Hopfield uvodi pojam energije mreže – fizičari zainteresirani (fizika materijala),
• 1986.Pronađeno rješenje za ‘credit assignment problem’ – back error propagation (BACKPROPAGATION).
Više autora BP: otkriven (Werbos), ponovo otkriven (Parker), naposljetku još jednom ponovo otkriven i populariziran (Rumelhart, Hinton i Williams, 1986.).
• ‘90. -Porast istraživanja u tom području (daljnji razvoj matematike, razvoj informatičke tehnologije, ‘conductive scientific Zeitgeist’).
Pojedini pristupi ANN imaju drugačije ciljeve istraživanja i dovode do različitih ideja njihove uporabe:Psihologija i neurologija: modeliranje mozga i biološkog postupka učenja,Računarske znanosti: paralelna distribuirana obrada u svrhu klasifikacije, asocijativna memorija i optimizacija,Matematika i fizika: proučavanje UNM u okviru statističke mehanike, teorije automata i nelinearnih dinamičkih sustava.
1.1.
3
Pravci razvoja umjetne inteligencijePravci razvoja umjetne inteligencije1.1. Pravci razvoja umjetne inteligencijePravci razvoja umjetne inteligencije
• Od prvih dana razvoja umjetne inteligencije (rane ’50) postoje dva pristupa razvoju inteligentnih sustava:
prvim pristupom nastoji se znanje iz neke domene obuhvatiti skupom atomičkih semantičkih objekata (simbola) i zatim činiti manipulacija tih simbola pomoću algoritamskih pravila,drugi pristup temelji se na izgradnji sustava arhitekture sličnearhitekturi mozga koji, umjesto da ga se programira, uči samostalno na temelju iskustva.
• Različita područja zahtijevaju različite pristupe.• Simbolički pristup je dobar u mnogim područjima (osobito isplativ
postao je razvojem ekspertnih sustava), ali nije ispunio rana ekstravagantna obećanja.
• Neuspjeh leži u pogrešnoj pretpostavci da je svako znanje moguće formalizirati i da je mozak stroj koji podatke obrađuje formalnim pravilima.
1.1.
Konektivistički pristupKonektivistički pristup
• Smolensky (’88) eksplicitno razlučuje koje je znanje moguće formalizirati, a koje nije, čineći podjelu između:
kulturalnog (javnog) znanja iprivatnog (intuitivnog) znanja.
• Prema konektivističkom shvaćanju, intuitivno se znanje ne možeobuhvatiti skupom formalnih pravila.
• Mnogi su svakodnevni zadaci previše složeni za simboličko predočavanje, npr. raspoznavanje uzoraka…
• Majku možemo prepoznati u 0.1 s• Neuroni u mozgu pale svake ms• U seriji, dakle, pali samo 100 neurona• Očigledno paralelna obrada!
1.1. Von Neumannovo računaloVon Neumannovo računalo
• 1946. von Neumann/Burks/Goldstine.• Podaci i instrukcije programa pohranjeni su zajedno u jednoj memoriji
i međusobno se ne razlikuju.• Postoji samo jedan tok podataka i jedan tok instrukcija (SISD).• Svi podaci i sve operacije prolaze tim tokom - von Neummanovo ‘usko
grlo’ (Backus 1978.).• Fizičko, ali i mentalno ograničenje.
1.1.
Umjetne neuronske mreže vs. von NeumannUmjetne neuronske mreže vs. von Neumann
• Von Neumannova računala odlična su za simbolički pristup jer se problemi rješavaju algoritamski na sekvencijalnom stroju.
• Umjetne neuronske mreže su distribuirani i paralelni sustavi.• Bitne karakteristične razlike dviju paradigmi/arhitektura:
Implicitno znanje (teška interpretacija)
Eksplicitna veza: sematički objekt - sklopovi računala
Obrada i rezultat ne ovisi mnogo o jednom elementu
Funkcionalnost ovisi o svakom elementu
Podaci mogu biti nejasni (šum) ili neizraziti
Samo se precizni podaci adekvatno obrađuju
Uči samostalno ili s učiteljemUnaprijed detaljno opisujemoalgoritam kroz korake
ANNvon Neumann
1.1. Implementacija umjetne neuronske mrežeImplementacija umjetne neuronske mreže
• Von Neumannovo računalo možemo koristiti kao emulator neuronske mreže - samo programska implementacija UNM.
• Danas se istražuju druge pogodnije arhitekture za implementacijuANN - peta generacija računala.
• Odlično rješavaju probleme klasifikacije i predviđanja – sve probleme kod kojih postoji složena (nelinearna) veza ulaza i izlaza.
• Neke osobitosti:Dobre u procjeni nelinearnosti. Mogu raditi s nejasnim ili manjkavim podacima (sensor data). Robusne na pogreške u podacima. Rade s velikim brojem varijabli i parametara. Prilagodljive okolini. Sposobne učiti. ...
• Najčešći zadaci:Raspoznavanje uzoraka. Obrada slike i govora. Problemi optimizacije. Nelinearno upravljanje. Obrada nepreciznih i nepotpunih podataka. Simulacije. Prognoza vremenskih serija. ...
Slika pokazuje usporedbu različitih ML postupaka prema različitim zadacima (Moustakis).Ističe se primjena ANN kao klasifikatora.
1.1.
Učenje umjetne neuronske mrežeUčenje umjetne neuronske mreže
• Dvije faze rada s ANN:Faza učenja (treniranja) iFaza obrade podataka (iskorištavanja, eksploatacije).
• Učenje iterativan postupak predočavanja ulaznih primjera (uzoraka, iskustva) i eventualno očekivana izlaza pri čemu dolazi do postupnog prilagođavanja težina veza neurona
• Jedno predočavanje svih uzoraka naziva se epohom• Razlikujemo:
Pojedinačno učenje (on-line)za svaki primjer podešavamo faktore
Grupno učenje (batch)cijela epoha u jednoj iteraciji
• Znanje o izlazu kao funkciji ulaza pohranjeno je implicitno u težinama veza neurona
1.1. Učenje umjetne neuronske mrežeUčenje umjetne neuronske mreže
• Dva načina učenja:Učenje s učiteljem (supervised learning) – postoje primjeri oblika (ulaz, izlaz)Učenje bez učitelja (unsupervised learning) – izlaz je a priori nepoznat
1.1.
5
Učenje umjetne neuronske mrežeUčenje umjetne neuronske mreže
• Skup primjera za učenje često dijelimo na:Skup za učenje – služi za iterativno podešavanje težinaSkup za testiranje – provjeravamo rad mrežeSkup za provjeru – konačna provjera
• Učenje se provodi dok mreža ne daje odgovarajuću točnost obrade podataka (uvodi se mjera pogreške)
• PretreniranostANN gubi poželjno svojstvo generalizacije i postaje stručnjak za podatke iz skupa za učenje (štreber)
1.1. Naš živčani sustavNaš živčani sustav
• 1011 neurona, 100 različitih vrsta, raspoređeni po definiranom rasporedu, svaki povezan s 104 drugih
• Dijelovi: soma, dendriti, akson, završni članci
1.1.
Umjetni neuronUmjetni neuron
• McCulloch-Pitts model (1943.): Threshold Logic Unit (TLU)• Analogija: signali su numeričke vrijednosti, jakost sinapse opisuje
težinski faktor w, tijelo stanice je zbrajalo, akson je prijenosna (aktivacijska) funkcija f
1.1. Umjetni neuronUmjetni neuron
X0=1, w0=-theta )()(0
netfxfon
iii == ∑
=ω
∑=
=++++=n
iiinn xxxxxnet
0221100 ... ωωωωω
θωωω −+++= nnxxxnet ...2211
1.1.
Umjetni neuron Umjetni neuron
• Različite funkcije dolaze u obzir kao prijenosne funkcije:
ADALINE
TLU
Sigmoidalna jedinica
1.1. Arhitektura mrežaArhitektura mreža
• Moguće arhitekture:
Aciklička (feedforward)Mreža s povratnom vezom (recurrent net)Lateralno povezana mreža (rešetkasta)
1.1.
6
Arhitektura mrežaArhitektura mreža
• Podvrsta acikličke mreže je slojevita aciklička mreža - ne postoji skup od tri neurona B, C, D takav da je ulaz na C izlaz iz B i D, te da je istovremeno izlaz iz D spojen na ulaz neurona B
• Uniformno slojevita mreža• Potpuno spojena mreža
nije slojevita!
1.1. SadržajSadržaj
1. Uvod u neuro-računarstvo Povijesni pregled • Pravci AI • Definicija i vrste • Primjena • Učenje • Živčani sustav i biološki neuron • Model neurona i vrste • Arhitektura mreža
2. Procesni elementiPerceptron • Pravilo perceptrona • Primjer • Učenje booleovih funkcija • Linearna odvojivost • XOR problem • Višeslojna mreža perceptrona • Linearna regresija • Srednja kvadratna pogreška • Gradijentni spust • LMS algoritam
3. Backpropagation algoritamBACKPROPAGATION algoritam i interpretacija skrivenog sloja • Primjeri uporabe neuronskih mreža • Primjer sustava za raspoznavanje
KlasifikacijaKlasifikacija
• Čovjek svakodnevno i neprestano obavlja – klasifikaciju!• Postoji skup objekata/uzoraka koji imaju određen skup svojstava.• Klasifikacija – pridjeljivanje naziva/oznaka svakom uzorku iz prostora
uzoraka.
• Uzorci• Prostor uzoraka
2.2. KlasifikacijaKlasifikacija
• Jedna moguća klasifikacija…
Dominantno žuti likovi
Dominantno plavi likovi
2.2.
KlasifikacijaKlasifikacija
• Druga moguća klasifikacija…
Ne može pisati
Može pisati
2.2. KlasifikacijaKlasifikacija
• Svaki uzorak posjeduje određena svojstva (boja, oblik, dimenzije, …).
• Klasifikaciju činimo na temelju nekih od svojstava.
• Uzoraka može biti beskonačno – ne možemo unaprijed generirati sve uzorke i pripadne klasifikacije čovjek ipak dobro generalizira…
• Želimo postupak kojim bismo na temelju malog broja poznatih uzoraka mogli “naučiti” pravilno klasificirati neviđene primjere.
2.2.
7
KlasifikacijaKlasifikacija
• Primjer koncepta “Dobra tajnica” – svaki objekt ima dva svojstva:Svojstvo “Komunikativnost”Svojstvo “Snalažljivost”
• Za potrebe računala svojstva treba kvantizirati – računalo radi s brojevima.
• Ocjenjujemo svojstva na skali od 1 do 5.1 je najlošija vrijednost.5 je najbolja vrijednost.
• Kada su ulazi i izlazi brojevi, za klasifikaciju možemo koristiti TLU perceptron.
Komunikativnost Snalažljivost Oznaka Kodirano
2 5 "Dobra tajnica" 1
5 2 "Dobra tajnica" 1
1 5 ne-"Dobra tajnica" -1
5 1 ne-"Dobra tajnica" -1
2.2.
TLU perceptronTLU perceptron
• 1943. McCulloch i Pitts – TLU Perceptron.
2.2. TLU perceptronTLU perceptron
• 1943. McCulloch i Pitts – TLU Perceptron.
2.2.
Step(x) = 1, x ≥ 0
TLU perceptronTLU perceptron
• 1943. McCulloch i Pitts – TLU Perceptron.
• Dvije definicije prijenosne funkcije:
• Oba oblika koriste se podjednako.• U primjerima ćemo koristiti TLU:-1,1.
Step(x) = 0, x < 0
Step(x) = -1, x < 0
2.2. TLU perceptronTLU perceptron
• Izlaz računamo u općem slučaju prema formuli:
• Eksplicitno se uvodi:
2.2.
[ ]
)(
1
)()(
011
10
wxwxwStep
x
x
wwStepxwStepnetStepo
nn
n
nT
+⋅++⋅=
⋅=⋅==
K
ML
rr
10 =x
8
TLU perceptronTLU perceptron
• Kada dolazi do promjene klasifikacije?
• Točke koje zadovoljavaju ovu jednadžbu čine granicu! (decizijska funkcija)
• Kada imamo dvije značajke (svojstva) granica je pravac.• Više značajki rezultira hiperravninom.
• Bitno je uočiti – granica je linearna.
2.2.
00 011 =+⋅++⋅⇒= wxwxwnet nn K
TLU perceptronTLU perceptron
• U našem primjeru perceptron ima dva ulaza:
• Snalažljivost ≡ x1
• Komunikativnost ≡ x2
• Pretpostavimo:
2.2.
[ ] [ ]85.53.11012 −=www
TLU perceptronTLU perceptron
• U našem primjeru izlaz računamo prema formuli:
2.2.
[ ] )(
1011221
2
012 wxwxwStepx
x
wwwStepo +⋅+⋅=
⋅=
NE-110,4515-5.851.31
NE-111,6551-5.851.31
DA111,7525-5.851.31
DA112,6552-5.851.31
to=S(net)netx1x2w0w1w2
IspravnoTočanIzlazSumaSnal.Komun.Težinski faktori
TLU perceptronTLU perceptron
• 1949. Hebb – “učiti znači mijenjati jakosti veza”!• Potrebno je mijenjati težinske faktore.• 1958. Rosenblatt: spoj Hebbove ideje i McCulloch-Pitts modela
• Pravilo PerceptronaUkoliko se uzorak klasificira ispravno ne radi korekcijuUkoliko se uzorak klasificira neispravno primjeni korekcijuCiklički uzimaj sve uzorke redom, a postupak zaustavi kada su svi uzorci za redom klasificirani ispravno
• Korekcija:
2.2.
)()()()1( kxotkwkw ii ⋅−⋅+=+ η
TLU perceptronTLU perceptron
• Učenje perceptrona uz:
Postupak završava s:
[ ] [ ]93.594.092.0012 −=www
2.2.
02.0=η
[ ] [ ]85.53.11012 −=www
TLU perceptronTLU perceptron
• Kako se klasificira novi uzorak [5 5]?
• Kako se klasificira novi uzorak [1 1]?
• Vidimo da je perceptron NAUČIO klasificirati uzorke koje prethodno nije vidio!
1)37.3()93.5594.0592.0( ==−⋅+⋅ StepStep
2.2.
1)07.4()93.5194.0192.0( −=−=−⋅+⋅ StepStep
9
TLU perceptronTLU perceptron
• Učenje je uspjelo jer su razredi bili LINEARNO RAZDVOJIVI!
2.2.
1 2 3 4 5 6 7
1
2
3
4
5
6
7
Komunikativnost
Snalažljivost
Primjer...
TLU perceptronTLU perceptron
• TLU može naučiti neke logičke funkcije – I, ILI, NE, ...
2.2.
1-1
1
-1
x1
x2
• Logičko IIstinu kodiramo s 1Laž kodiramo s -1
1
1
0
21
−===
w
ww
• Logičko I s M ulaza:
}1{
1
0
1
+−====
Mw
ww ML
TLU perceptronTLU perceptron
• TLU može naučiti neke logičke funkcije – I, ILI, NE, ...
2.2.
• Logičko ILIIstinu kodiramo s 1Laž kodiramo s -1
1
1
0
21
===
w
ww
• Logičko ILI s M ulaza:
1
1
0
1
−====
Mw
ww ML
1-1
1
-1
x1
x2
TLU perceptronTLU perceptron
• TLU može naučiti neke logičke funkcije – I, ILI, NE, ...
2.2.
• Logičko NEIstinu kodiramo s 1Laž kodiramo s -1
0
1
0
1
=−=
w
w
• Jednostavnije: negaciju ostvariti koristeći perceptron koji već obavlja neku drugu funkciju tako da težinskom faktoru koji dovodi tu “varijablu” promjenimo predznak!
1-1x1
XOR problemXOR problem
• Što je s logičkom funkcijom XOR?• Nije linearno razdvojivo!
2.2.
• 1969. Minsky i Papert – ‘Perceptrons’Perceptron nije dobar kada ne može rješiti tako jednostavan problem poput XOR elementarne logičke funkcije!
1-1
1
-1
x1
x2
???
XOR problemXOR problem
• Što je s logičkom funkcijom XOR? Treba konstruirati mrežu!
2.2.
212121 xxxxxx ⋅+⋅=⊕
1-1
1
-1
x1
x2
TLU
TLU
TLU
x1
x2
-1
-1
1
-1
1
-1
1
1
1
21 xx ⊕
21 xx ⋅
2121 xxxx ⋅+⋅
21 xx ⋅
10
XOR problemXOR problem
• Što je s logičkom funkcijom XOR? Treba konstruirati mrežu!• Rješenje nije jednoznačno!• ... Kada je ILI i nije I
2.2.
1-1
1
-1
x1
x2
TLU
TLU
TLU
x1
x2
1
1
1
1
1
-1
1
-1
-1
21 xx ⊕
21 xx ⋅
)()( 2121 xxxx ⋅¬⋅+
21 xx +
TLU perceptronTLU perceptron
• Što je s logičkom funkcijom XOR? Treba konstruirati mrežu!• Povećanjem dimenzionalnosti ulaza postići linearnu odvojivost trik poznat
• Problem s mrežama TLU perceptrona jest nemogućnost učenja konvencionalnim postupcima!
• Rješenje tražimo na drugom mjestu...
2.2. Aproksimacija funkcijaAproksimacija funkcija
• Također vrlo težak problem – i vrlo koristan (ako se može riješiti)!
• TLU perceptron nije prikladan za aproksimaciju funkcija – izlaz ima samo dvije razine.
• Jedno moguće rješenje jest iz TLU-a izbaciti nelinearnost! Takav procesni element naziva se ADALINE.
2.2.
Adaline Adaline
• Osnovno svojstvo linearna regresija
ii xwt ⋅≈???
2.2. Adaline Adaline
iii xwt ⋅−=εiii xwt ε+⋅=ii xwt ⋅≈
( )∑∑==
⋅−==N
iii
N
ii xwt
NNE
1
2
1
2
2
1
2
1 ε
½ MSE (engl. Mean Square Error)
2.2.
Adaline Adaline
( )
( )
∑
∑
∑
∑
=
=
=
=
⋅=⇒
=⋅⋅−−⇒
=
⋅−⇒
=
N
ii
N
iii
N
iiii
N
iii
x
xtw
xxwtN
xwtNdw
d
dw
dE
1
2
1
1
1
2
01
02
1
0
Ne može se uvijek rješavati analitički…
2.2. Adaline Adaline
• Gradijentni spust – jedno moguće rješenje
• U općenitom slučaju w je vektor i umjesto derivacije je
• Gradijent ½ MSE-a:
)()()1( kEdw
dkwkw ⋅−=+ η
∑∑==
=
==∇N
iii
N
iiw dw
d
NNdw
d
dw
dEE
11
2 1
2
1 εεε
ovisi o SVIM uzorcima - nepoželjno
E∇
2.2.
12
Adaline Adaline
• Widrow-Hoff (1960.) – aproksimacija gradijenta:
• Konačna formula LMS pravilo
• ‘on-line’ izvedba - pojedinačno učenje
)()()()( kxkkdw
dkEw ⋅−=≈∇ εεε
)()()()1( kxkkwkw ⋅⋅+=+ εη
Primjer…
2.2. AdalineAdaline
• Potpuno funkcionalni ADALINE (D ulaza):
• Dalje je priča poznata…
01111 wxwxwxwnet DDDD +⋅++⋅+⋅= −− L
( )
∑=
−−
⋅−=
=+⋅++⋅+⋅−=D
kkiki
iDiDDiDii
xwt
wxwxwxwt
0,
01,11,1, Lε
Umjesto skalara vektori
)()()()()()1( kxkkwkEkwkwrrrr ⋅⋅+=∇⋅−=+ εηη
LMS:
2.2.
Adaline mrežaAdaline mreža
0,36251
0,242212
0,132111
wwowoo
wwxwxo
wwxwxo
+⋅+⋅=+⋅+⋅=+⋅+⋅=
0,3
60,2642621
50,1532511
w
wwwwxwwx
wwwwxwwxo
+⋅+⋅⋅+⋅⋅+
⋅+⋅⋅+⋅⋅=
021 wwxwxo BA +⋅+⋅=
2.2.
0,360,250,10
6453
6251
wwwwww
wwwww
wwwww
B
A
+⋅+⋅=⋅+⋅=⋅+⋅=
p1
p2
p3
x1
x2
w1,0
w2,0
w3,0
w1
w2
w3
w4
w5
w6
o
o1
o2
Opet običan adaline...
Adaline mrežaAdaline mreža2.2.Linearna kombinacija linearnih kombinacija opet je linearna kombinacija...
Trebamo nelinearne prijenosne funkcije!
Često se koristi sigmoidalna (logistička) prijenosna funkcija.
• Ovakve mreže su univerzalni aproksimatori – mogu aproksimirati proizvoljnu funkciju s proizvoljnom preciznošću.
Kolmogorovljev teoremKolmogorovljev teorem
• Kolmogorov – egzistencijalni teorem (1957) kontinuirana funkcija f od s varijabli može se prikazati u obliku konačne sume odgovarajućih kontinuiranih funkcija gq jedne varijable:
2.2.
∑ ∑=
Ψ=s
q iiqiqs xgxxxf
2
021 )]([),...,,(
SadržajSadržaj
1. Uvod u neuro-računarstvo Povijesni pregled • Pravci AI • Definicija i vrste • Primjena • Učenje • Živčani sustav i biološki neuron • Model neurona i vrste • Arhitektura mreža
2. Procesni elementiPerceptron • Pravilo perceptrona • Primjer • Učenje booleovih funkcija • Linearna odvojivost • XOR problem • Višeslojna mreža perceptrona • Linearna regresija • Srednja kvadratna pogreška • Gradijentni spust • LMS algoritam
3. Backpropagation algoritamBACKPROPAGATION algoritam i interpretacija skrivenog sloja • Primjeri uporabe neuronskih mreža • Primjer sustava za raspoznavanje
• Pokazalo se da BP ima zanimljivo svojstvo pronalaženja karakterističnih obilježja ulaznih primjera koja nisu eksplicitno zadana, ali su bitna za pravilno učenje ciljne funkcije
• Primjer: mreža 8x3x8 koju učimo funkciji f(x) = x
• Izlazi iz neurona nakon jedne epohe učenja mreže odgovaraju nakon zaokruživanja na cjelobrojnu vrijednost upravo binarnom kodu za 8 različitih ulaza
Ulaz Skriveni sloj Izlaz
10000000 0.996 0.025 0.128 10000000
01000000 0.011 0.981 0.994 01000000
00100000 0.996 0.996 0.995 00100000
00010000 0.883 0.992 0.003 00010000
00001000 0.172 0.005 0.002 00001000
00000100 0.003 0.009 0.751 00000100
00000010 0.836 0.003 0.995 00000010
00000001 0.003 0.921 0.069 00000001
Ulaz Skriveni sloj Izlaz
10000000 1 0 0 10000000
01000000 0 1 1 01000000
00100000 1 1 1 00100000
00010000 1 1 0 00010000
00001000 0 0 0 00001000
00000100 0 0 1 00000100
00000010 1 0 1 00000010
00000001 0 1 0 00000001
3.3. Primjer primjene u mediciniPrimjer primjene u medicini
• Razvoj i sve češća uporaba ANN u obradi fizioloških signala i podataka u području anesteziologije:
Alarmiranje: dvije ANN kontroliraju respiratorni sustav pacijenta. Jedna otkriva smetnje sustava (točnost 95.6%), a druga ih locira(točnost 96%). Liječnicima bez ANN za dijagnosticiranje smetnje treba 45 sekundi, s ANN samo 17 sekundi.Krvni tlak: ANN obrađuje oscilometričke signale s čela pacijenta.Kontrola dubine anestezije: predviđanje na temelju dobi, težine, pulsa, disanja i krvnog tlaka pacijenta. ANN uspješno emulira produkcijski sustav s 400 produkcijskih pravila!EEG: klasifikacija i interpretacija uzoraka signala. Također i otkrivanje neuroloških poremećaja i mentalne patologije, npr. šizofrenija, Parkinsonova bolest, poremećaji spavanja, epilepsija.
Dept. Anesthesiology, University of Utah
3.3.
Primjer primjene u agronomijiPrimjer primjene u agronomiji
• Prostorno predviđanje količine padalina u Australiji• Mreža je trenirana s godišnjim podacima od 1901. do 1975.
sakupljenima u 87 meteoroloških postaja• Provjera predviđanja učinjena je na 20 drugih postaja• Ostvarena je zadovoljavajuća točnost predviđanja za 19 postaja:
8th Australian Agronomy Conference, Toowoomba, 1996
• Uzorci su u stvari digitalizirane slike, pa će se međusobno razlikovati u intenzitetu odgovarajućih slikovnih elemenata (posljedica razlike u stupnju istrošenosti novčanice, izgužvanosti papira, oštećenosti).
• U primjeru je korišten generator umjetnih uzoraka koji generira uzorke različitog stupnja oštećenja u svrhu provjere rada mreže i ugađanja njezinih parametara.
• Prednosti:dostupnost velikog broja uzoraka za provjeru,mogućnost promatranja odziva mreže u ovisnosti o promjeni samo jednog parametra uzorka,mogućnost definiranja praga tolerancije oštećenih uzoraka.
• Nedostaci:generirani uzorci nisu u potpunosti stohastičke prirode,generatorom se rijetko mogu obuhvatiti sva obilježja pravih uzoraka.
• Parametri mreže aciklička potpuno spojena uniformno-slojevita mreža strukture 990x3x4, stopa učenja=0.02, moment=0.02, provjera nad skupom za testiranje svakih 2500 epoha
• Rezultat klasifikacije odgovara neuronu čiji je izlaz najveći• Mreža nije učena s anti-primjerima, no međusoban odnos izlaznih
vrijednosti može poslužiti kao mjera pouzdanosti klasifikacije• Moguće je utvrditi neki prag tolerancije oštećenja uzorka
3.3. LiteraturaLiteratura
• T. M. Mitchell, Machine Learning. The McGraw-Hill Companies, Inc., 1997.• R. S. Michalski, I. Bratko, M. Kubat, Machine Learning And Data Mining,
John Wiley & Sons Ltd., 1998• P. Picton, Neural Networks. PALGRAVE, 1994.• B. Dalbelo Bašić, Bilješke s predavanja. Fakultet elektrotehnike i
računarstva, Zagreb, 2001.• K. Gurney, "Computers and Symbols versus Nets and Neurons". Dept.
Human Sciences, Brunel University, Uxbridge, 2001.• K. Gurney, "Drawing things together – some perspectives". Dept. Human
Sciences, Brunel University, Uxbridge, 2001.• D. Mišljenčević, I. Maršić, Umjetna inteligencija. Školska knjiga, Zagreb,
1991.• AutomataTheory. Encyclopaedia Britannica Inc., 2001 CD-ROM Edition.