NEURONSKE MRE NEURONSKE MRE ŽE ŽE
Jan 03, 2016
NEURONSKE MRENEURONSKE MREŽEŽE
BIOLOŠKE OSNOVEBIOLOŠKE OSNOVE
Dendrites
Synapse
Axon
BrojBroj neuron neuronaa:: ~ 10~ 101010
Broj sinapsi po neuronuBroj sinapsi po neuronu:: 11004 4 to 10to 1055
Vreme promene stanja neurona Vreme promene stanja neurona ((switching timeswitching time) ) :: ~ 0.001 second~ 0.001 second
Vreme prepoznavanje sceneVreme prepoznavanje scene:: ~ 0.1 ~ 0.1 secondsecond
DEFINICIJA DEFINICIJA NEURONSKIH MREŽA NEURONSKIH MREŽA Neuronske mreže simuliraju način rada Neuronske mreže simuliraju način rada
ljudskog mozga pri obavljanju datog zadatka ljudskog mozga pri obavljanju datog zadatka ili neke funkcije. Neuronska mreža je ili neke funkcije. Neuronska mreža je masovno paralelizovan distribuirani procesor masovno paralelizovan distribuirani procesor sa prirodnom sposobnošću memorisanja sa prirodnom sposobnošću memorisanja iskustvenog znanja i obezbedivanja njegovog iskustvenog znanja i obezbedivanja njegovog korišćenja. Veštačke neuronske mreže korišćenja. Veštačke neuronske mreže podsećaju na ljudski mozak u dva pogleda:podsećaju na ljudski mozak u dva pogleda:
1.1. Neuronska mreža zahvata znanje kroz Neuronska mreža zahvata znanje kroz proces obučavanjaproces obučavanja
2.2. Težine medjuneuronskih veza (jačina Težine medjuneuronskih veza (jačina sinaptičkih veza) služe za memorisanje sinaptičkih veza) služe za memorisanje znanja.znanja.
Procedura kojom se obavlja obučavanje Procedura kojom se obavlja obučavanje je je algoritam obučavanjaalgoritam obučavanja. Kroz ovu se . Kroz ovu se procesuru se na algoritamski procesuru se na algoritamski (sistematičan) način menjaju sinaptičke (sistematičan) način menjaju sinaptičke težine u cilju dostizanja željenih težine u cilju dostizanja željenih performansi mreže.performansi mreže.
Osnovnu računarsku snagu neuronskih Osnovnu računarsku snagu neuronskih mreža čini masivni paralelizam, mreža čini masivni paralelizam, sposobnost sposobnost obučavanja i generalizacijaobučavanja i generalizacija..
GeneralizacijaGeneralizacija predstavlja sposobnost predstavlja sposobnost produkovanja zadovoljavajućeg izlaza produkovanja zadovoljavajućeg izlaza neuronske mreže i za ulaze koji nisu bili neuronske mreže i za ulaze koji nisu bili prisutni u toku obučavanja.prisutni u toku obučavanja.
SVOJSTVA SVOJSTVA NEURONSKIH MREŽA NEURONSKIH MREŽA Nelinearnost, koja je u osnovi distribuirana.Nelinearnost, koja je u osnovi distribuirana. Ulazno-izlazno preslikavanje, koje se Ulazno-izlazno preslikavanje, koje se
restauriše kroz proces obučavanjarestauriše kroz proces obučavanja Adaptivnost-sposobnost menjanja jačine Adaptivnost-sposobnost menjanja jačine
sinaptičkih veza.sinaptičkih veza. Evidencionalni odziv. Neuronska mreža kao Evidencionalni odziv. Neuronska mreža kao
izlaz može da produkuje i stepen uverenja izlaz može da produkuje i stepen uverenja o datoj odluci.o datoj odluci.
Kontekstualna informacija. Svaki neuron u Kontekstualna informacija. Svaki neuron u neuronskoj mreži je pod uticajem globalne neuronskoj mreži je pod uticajem globalne aktivnosti ostalih neurona. Stoga je aktivnosti ostalih neurona. Stoga je kontekstualna informacija prirodno kontekstualna informacija prirodno imanentna ovim strukturamaimanentna ovim strukturama
SVOJSTVA NEURONSKIH SVOJSTVA NEURONSKIH MREŽAMREŽA Otpornost na otkaz.Otpornost na otkaz. Mogućnost realizacije u VLSI (Very Large Scale Mogućnost realizacije u VLSI (Very Large Scale
Integration) tehnologiji.Integration) tehnologiji. Uniformnost analize i sinteze. Neuron je Uniformnost analize i sinteze. Neuron je
zajednički element za sve tipove neuronskih zajednički element za sve tipove neuronskih mreže. Modularne neuronske mreže se mogu mreže. Modularne neuronske mreže se mogu formirati integracijom pojedinih celina-modula. Za formirati integracijom pojedinih celina-modula. Za rešavanje različitih praktičnih problema koriste se rešavanje različitih praktičnih problema koriste se iste teorijske postavke i algoritmi obučavanja.iste teorijske postavke i algoritmi obučavanja.
Neurobiološke analogije. Neurobiolozi gledaju na Neurobiološke analogije. Neurobiolozi gledaju na neuronske mreže kao istraživački alat za neuronske mreže kao istraživački alat za interpretaciju neurobioloških fenomena, i interpretaciju neurobioloških fenomena, i obrnuto, inženjeri gledaju na neurobiologiju kao obrnuto, inženjeri gledaju na neurobiologiju kao oblast iz koje mogu da izvlače nove ideje za oblast iz koje mogu da izvlače nove ideje za rešavanje kompleksnijih problema od onih koji se rešavanje kompleksnijih problema od onih koji se mogu rešiti klasičnim hardversko-softverskim mogu rešiti klasičnim hardversko-softverskim tehnikama.tehnikama.
MODELI NEURONAMODELI NEURONA
Model neurona čine tri bazična Model neurona čine tri bazična elementa:elementa:
Skup Skup sinaptičkih težinasinaptičkih težina . Pozitivne težine . Pozitivne težine odgovaraju ekscitirajućim sinaptičkim odgovaraju ekscitirajućim sinaptičkim vezama, a negativne inhibitornim. vezama, a negativne inhibitornim.
SumatorSumator (linearni kombajner) – formira (linearni kombajner) – formira težinsku sumu ulaza.težinsku sumu ulaza.
Aktivaciona funkcijaAktivaciona funkcija – limitira amplitudu – limitira amplitudu izlaznog signala neurona. Tipično se izlaznog signala neurona. Tipično se uzima normalizacija izlaza na interval uzima normalizacija izlaza na interval [0,1] ili [-1,1].[0,1] ili [-1,1].
a( . )
1kw
2kw
kmw
1x
2x
mx
ku ky
k
sumator aktivaciona
funkcija
prag
izlaz
ulazi
sinaptičke veze
m
jjkjk xwu
1
)( kkk uay
.,1,)(, 00 kkkkjkjk wxvayxwv
a( . )
1kw
2kw
kmw
1x
2x
mx
ku ky
k
sumator aktivaciona
funkcija
prag
izlaz
ulazi
sinaptičke veze
fiksni ulaz
10 x
kkw 0
Nelinearni model neurona sa proširenim ulazom i prenosom praga u sinaptičku težinu.
kk bwax 00 ,1
kb
Ako stavimo da je , tada se naziva bajas, videti sl.3.3.kk bwax 00 ,1 kb
a( . )
1kw
2kw
kmw
1x
2x
mx
ku ky
k
sumator aktivaciona
funkcija
prag
izlaz
ulazi
sinaptičke veze
fiksni ulaz
10 x
kk bw 0
Sl.3.3. Nelinearni model neurona sa proširenim ulazom i bajasom u obliku sinaptičke težine
TIPOVI AKTIVACIONIH TIPOVI AKTIVACIONIH FUNKCIJA FUNKCIJA
Razlikujemo sledeće najčešće Razlikujemo sledeće najčešće tipove aktivacionih funkcija.tipove aktivacionih funkcija.
Funkcija pragaFunkcija praga
0,0
0,1)(
v
vva
a(v)
1
0 v
Sl.3.4. Aktivaciona funkcija tipa praga. Neuron sa ovom aktivacionom funkcijom je poznat kao Mek Kuloč – Pitasov model neurona (1943)
U delovima linearna
2/1,0
2/12/1,2/1
2/1,1
)(
v
vv
v
va
a(v)
1
-1/2 1/2v
Sigmoidalna (logistička)
)exp(1
1)(
bvva
a(v)
v
1 1b
2b
21 bb
Sl.4.6. Sigmoidalna (logistička) aktivaciona funkcija. Parametar b je parametar nagiba.
0,1
0,0
0,1
)(
v
v
v
va
a(v)
1
0 v
-1
Sl.4.7. Bipolarna aktivaciona funkcija tipa znaka (sgn(v))
)exp(1
)exp(1)
2tanh()(
v
vvva
a(v)
v
1 1b
2b
21 bb
-1
Sl.4.8. Bipolarna aktivaciona funkcija tipa tangensa hiperboličnog (sigmoidalna aktivaciona funkcija)
ulazni sloj izlazni sloj
Sl.4.9. Jednoslojni perceptron sa prostiranjem unapred
ulazni sloj izlazni sloj
skriveni sloj
Sl.4.10. Višeslojna neuronska mreža sa prostiranjem unapred
1z 1z1z
Sl.4.11. Rekurentna neuronska mreža bez sopstvenih povratnih sprega i skrivenih slojeva. Operator
1z
ima značenje jediničnog vremenskog kašnjenja
1z
1z
1z
1z
1z
text
text
text
text
text
text
text
text
texttext
text
ulaz
izlaz
Sl.4.12. Rekurentna neuronska mreže sa skrivenim slojem
PREZENTACIJA ZNANJA U PREZENTACIJA ZNANJA U NEURONSKIM MREŽAMANEURONSKIM MREŽAMA
Znanje o okruženju je generalno dvojakoZnanje o okruženju je generalno dvojako Poznata znanja o okruženju, izražena kroz Poznata znanja o okruženju, izražena kroz
činjenice o tome šta je poznato – apriorno činjenice o tome šta je poznato – apriorno znanje.znanje.
Observacije (merenja) – dobijena od različitih Observacije (merenja) – dobijena od različitih senzora kao odraz stanja okruženja. Na senzora kao odraz stanja okruženja. Na osnovu ovih observacija se kreiraju osnovu ovih observacija se kreiraju obučavajući skupovi za obučavanje obučavajući skupovi za obučavanje neuronskih mreža. Svaki primer u njemu se neuronskih mreža. Svaki primer u njemu se sastoji od parova (ulaz, izlaz).sastoji od parova (ulaz, izlaz).
Obučavajući skupoviObučavajući skupovi predstavljaju znanje o predstavljaju znanje o okruženju od interesa.okruženju od interesa.
U klasičnom procesiranju, prirodno je prvo U klasičnom procesiranju, prirodno je prvo kreirati matematički model observacija, kreirati matematički model observacija, izvršiti validaciju ovog modela na realnim izvršiti validaciju ovog modela na realnim podacimapodacima
Neuronske mreže su direktno bazirane na Neuronske mreže su direktno bazirane na podacima i daju implicitni model okruženja uz podacima i daju implicitni model okruženja uz istovremeno obavljanje željenog procesiranja.istovremeno obavljanje željenog procesiranja.
Znanje o okruženju u neuronskim mrežama je Znanje o okruženju u neuronskim mrežama je kodovano kroz konkretne vrednosti slobodnih kodovano kroz konkretne vrednosti slobodnih parametara dobijenih kroz obučavanje.parametara dobijenih kroz obučavanje.
Teško je bilo šta konkretno reći o Teško je bilo šta konkretno reći o reprezentaciji samog znanja unutar reprezentaciji samog znanja unutar neuronske mreže.neuronske mreže.
Postoje četiri pravila o reprezentaciji znanja Postoje četiri pravila o reprezentaciji znanja u neuronskim mrežama, koji su opšte u neuronskim mrežama, koji su opšte prirode.prirode.
Pravilo 1. Slični ulazi sličnih klasa Pravilo 1. Slični ulazi sličnih klasa prouzrokuju sličnu unutrašnju prouzrokuju sličnu unutrašnju reprezentaciju.reprezentaciju.
Pravilo 2. Primeri koji pripadaju različitim Pravilo 2. Primeri koji pripadaju različitim klasama treba da budu predstavljeni klasama treba da budu predstavljeni različitim unutrašnjim reprezentacijama.različitim unutrašnjim reprezentacijama.
Pravilo 3. Apriorne informacije se ugradjuju Pravilo 3. Apriorne informacije se ugradjuju direktno u neuronsku mrežu bez procesa direktno u neuronsku mrežu bez procesa obučavanja (specijalizacija strukture). Ovo obučavanja (specijalizacija strukture). Ovo se postiže ilise postiže ili1.1. restrikcijom arhitekture (lokalne konekcije)restrikcijom arhitekture (lokalne konekcije)2.2. restrikcijom izbora sinaptičkihh težina (weight restrikcijom izbora sinaptičkihh težina (weight
shearing – metoda zajedničkih sinaptičkih težina).shearing – metoda zajedničkih sinaptičkih težina).
Specijalizacijom strukture se postiže:Specijalizacijom strukture se postiže: manji broj slobodnih parametaramanji broj slobodnih parametara manji potrebni obučavajući skupovimanji potrebni obučavajući skupovi brže obučavanjebrže obučavanje bolja generalizacijabolja generalizacija ubrzana je prenos signala kroz ubrzana je prenos signala kroz
restriktovanu neuronsku mrežurestriktovanu neuronsku mrežu cena realizacije je manja.cena realizacije je manja.
OBUČAVANJE NEURONSKIH OBUČAVANJE NEURONSKIH MREŽAMREŽA
Obučavanje je proces adaptiranja Obučavanje je proces adaptiranja slobodnih parametara neuronske mreže, slobodnih parametara neuronske mreže, koji se obavlja kroz stimulaciju koji se obavlja kroz stimulaciju okruženja u kome se neuronska mreža okruženja u kome se neuronska mreža nalazi. Proces obučavanja je klasifikovan nalazi. Proces obučavanja je klasifikovan u tri kategorije:u tri kategorije:1.1. obučavanje sa učiteljem (nadzorom), obučavanje sa učiteljem (nadzorom),
(supervized learning)(supervized learning)2.2. obučavanje sa podsticanjem obučavanje sa podsticanjem
(reinforcement learning)(reinforcement learning)3.3. samoobučavanje (obučavanje bez samoobučavanje (obučavanje bez
učitelja), (unsupervised learning)učitelja), (unsupervised learning)
Neuronska mreža
W
Generatorsignala greške
ulaz izlaz
signal greške željeni signal
yx
Sl.6.1.a Obučavanje sa učiteljem
Neuronska mreža
W
Generatorsignala kritike
ulaz izlaz
signal kritike signal podsticanja
yx
Sl.6.1.b.Obučavanje sa podsticanjem
Neuronska mreža
Wulaz izlaz
yx
Sl.6.1.c. Samoobučavanje
Kod obučavanja sa učiteljem prisutan je obučavajući skup u formi parova )()( , ii dX
gde je )(iX ulaz, a )(id željeni izlaz.
Kod obučavanja sa podsticanjem, neuronska mreža dobija rudimentirane informacije o tome kakav izlaz produkuje, najčešće samo u formi jednog bita informacije tipa {dobar, loš}. Analogno obučavanju sa učiteljem, ova forma obučavanja se može tretirati na isti način s tim što umesto učitelja, koji egzaktno ukazuje kakav odziv neuronske mreže treba da bude, u ovom slučaju imamo “kritičara” koji daje grublju ocenu odziva neuronske mreže.Samoobučavanje je karakterisano odsustvom bilo kakve povratne sprege od okruženja.
OPŠTA FORMA PRAVILA OPŠTA FORMA PRAVILA OBUČAVANJAOBUČAVANJA
Generatorsignala
obučavanja
iy
idr
iW
X
1x
2x
1mx
1mx
i-ti neuron
1iw
2iw
1miw
imw
X
Sl.6.1.Opšta šema obučavanja i-tog neurona
HEBOVO UČENJEHEBOVO UČENJE
Hebov princip učenja je jedan od Hebov princip učenja je jedan od najstarijih i najpoznatijih. Zasniva se na najstarijih i najpoznatijih. Zasniva se na Hebovom postulatu:Hebovom postulatu:
Kada je akson neurona A dovoljno blizu Kada je akson neurona A dovoljno blizu neurona B, tako da ga može eksitovati, i neurona B, tako da ga može eksitovati, i ako se to ponavlja dovoljno često, ako se to ponavlja dovoljno često, dešavaju se takve promene i metabolički dešavaju se takve promene i metabolički procesi u obe ćelije da je efikasnost procesi u obe ćelije da je efikasnost uticaja neurona A na neuron B uticaja neurona A na neuron B povećana.povećana.
., xywyr iii
Hebovo učenje je u osnovi samoobučavajuće, budući da nije prisutan signal željenog izlaza. U skalarnoj formi (6.4), ima formu
mjnixyw jiij ,...,2,1,,...,2,1,
minE
0w )(nw)1( nw
w
eEw
)(
w
wE
)(
)(wE
w
Sl.7.1. Ilustracija Vidrov-Hofovog pravila obučavanja za jedan koeficijent sinaptičkih težina w.
Gradient DescentGradient Descent
Gradient:
nw
E
w
E
w
EwE ,...,,][
10
ii w
Ew
Pravilo obučavanja: ][wEw
2)(2
1][
Dddd otwE