14.12.2014 1 INTELIGENTNI SISTEMI Primjene neuronskih mreža Vanr. Prof.dr. Lejla Banjanovic-Mehmedovic Copyright: Lejla Banjanović- Mehmedović 1 Inteligentni sistemi 11 Primjene neuronskih mreža Aproksimacija funkcija Klasifikacija Predikcija Identifikacija i upravljanje Copyright: Lejla Banjanović- Mehmedović 2 Inteligentni sistemi 11
18
Embed
INTELIGENTNI SISTEMI Primjene neuronskih mreža · PDF file14.12.2014 11 Primjena neuronskih mreža u upravljačkim strukturama Inteligentno upravljanje je klasa upravljačkih tehnika
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
14.12.2014
1
INTELIGENTNI SISTEMI
Primjene neuronskih mreža
Vanr. Prof.dr. Lejla Banjanovic-Mehmedovic
Copyright: Lejla Banjanović-Mehmedović
1Inteligentni sistemi 11
Primjene neuronskih mreža
� Aproksimacija funkcija
� Klasifikacija
� Predikcija
� Identifikacija i upravljanje
Copyright: Lejla Banjanović-Mehmedović
2Inteligentni sistemi 11
14.12.2014
2
Neuronske mreže kao aproksimatori funkcija
Copyright: Lejla Banjanović-Mehmedović
3Inteligentni sistemi 11
Neuronske mreže kao aproksimatori funkcija
� Ulaz:
� Pomoćna varijabla:
� Izlaz:
� Skup podataka za treniranje:
Copyright: Lejla Banjanović-Mehmedović
( ) ( ) ( ) ( )[ ]Tn ixixixix ,,, 21 L=
( ) ( ) ( ) ( )[ ]Tn iziziziz
z,,, 21 L=
( ) ( ) ( )( ),y i G x i z i=
( ) ( )( ) ( ) ( )( ){ }1 , 1 , , ,G x y x M y M= L
4Inteligentni sistemi 11
14.12.2014
3
Definicija problema aproksimacije funkcije
� Problem aproksimacije je odreñivanje optimalnih vrijednosti parametara θ = θ* uz koje je funkcija Fnajbolja aproksimacija funkcije G:
� Kao mjera kvaliteta:
Copyright: Lejla Banjanović-Mehmedović
[ ] θρ θ ρ θ θ∗ ≤ ∀ ∈ ( )( , ), ( ) ( , ), ( ) , RnF G F Gx x x x
[ ]1
( , ), ( ) ( ) ( , ) ( ) ( , )p
p
pC
F G G F G F dxρ θ θ θ = − = − ∫x x x x x x
[ ]2 2
1 1
( ( )) ( , ( )) ( ( )) ( , ( ))N N
v v
G v F v G v F vθ θ∗
= =
− ≤ − ∑ ∑x x x x
5Inteligentni sistemi 11
Copyright: Lejla Banjanović-Mehmedović
Primjer: neuronske mreže kao aproksimatori funkcije
Loša aproksimacija neuronske mreže
strukture [5 1] sa brzinom učenja 0.05
Konfiguracija mreže [10 5 1] kroz 100 epoha treniranja, koja daje mnogo bolje rezulate
6Inteligentni sistemi 11
14.12.2014
4
Aproksimacija funcije prema ulaznim uzorcima
Rezultat treniranja neuronske mreže sa 1 neuronom u skrivenom sloju
Rezultat treniranja neuronske mreže sa 5 neurona u skrivenom sloju pri prilagoñenju funkcije prema ulaznim uzorcima
Copyright: Lejla Banjanović-Mehmedović
7Inteligentni sistemi 11
Primjena MLP neuronskih mreža u klasifikaciji i predikciji
� Senzitivnost (eng. sensitivity ili true positive rate – TPR) ili (eng. recall):
Inteligentni sistemi 11 Copyright: Lejla Banjanović-Mehmedović
16
14.12.2014
9
Kriteriji za izračunavanje greške� Srednja apsolutna greška (eng. mean absolute error – MAE):
� Korijen srednje kvadratne greške (eng. root mean squared error –RMSE):
� Relativna apsolutna greška (eng. relative absolute error– RAE):
� Korijen relativne kvadratne greške (eng. root relative squared error–RRSE):
� ai - stvarne vrijednosti, pi - željene vrijednosti
Inteligentni sistemi 11 Copyright: Lejla Banjanović-Mehmedović
17
18
Klasifikacija korištenjem neuronskih mreža
� Analiza efekata optimizirane neuronske mreže pri predikciji kvalteta uglja za proizvoljno odabran broj uzoraka
Copyright: Lejla Banjanović-Mehmedović
18Inteligentni sistemi 11
14.12.2014
10
19
Klasifikacija korištenjem neuronskih mreža
� Analiza efekata optimizirane neuronske mreže pri predikciji kvalteta uglja za proizvoljno odabran broj uzoraka
KOMPARCIJA STVARNE I PREDIKTOVANE ZAGARANTOVANE VRIJEDNOSTI KVALITETA ZA PRVIH 250 UZORAKA
8000
9000
10000
11000
12000
13000
14000
0 25 50 75 100 125 150 175 200 225 250
Uzorak
En
erg
etsk
a vr
ijed
no
st
Prediktovano Z Stvarno Z
KOMPARACIJA STVARNE I PREDIKTOVANE VRIJEDNOST KLASE KVALITETA
6000
7000
8000
9000
10000
11000
12000
13000
0 25 50 75 100 125 150 175 200 225 250
Uzorak
En
erg
etsk
a vr
ijed
no
st
Prediktovano K Stvarno K
Copyright: Lejla Banjanović-Mehmedović
19Inteligentni sistemi 11
Primjena neuronskih mreža u identifikaciji
Copyright: Lejla Banjanović-Mehmedović
20Inteligentni sistemi 11
14.12.2014
11
Primjena neuronskih mreža u upravljačkim strukturama
� Inteligentno upravljanje je klasa upravljačkih tehnika koja koristi različite računarske tehnike vještačke inteligencije poput:
� neuronskih mreža
� Bayesove vjerovatnoće
� fuzzy logike
� mašinskog učenja
� evolucionog računarstva
� genetskih algoritama
� i njihovih kombinacija
Inteligentni sistemi 11 21Copyright: Lejla Banjanović-Mehmedović
Neuronske mreže
� Podjela NM prema načinu prostiranja signala kroz mrežu :
� Statičke mreže (eng. feedforward) - primaju ulaze u jednom prolazu, viši slojevi ne vraćaju informacije u niže slojeve
� Dinamičke mreže (eng.feedback) - primaju ulaze u vremenskim intervalima, viši slojevi vraćaju informacije unazad u niže slojeve
� Statičke neuronske mreže sadrže težinske koeficijente povezane samo u unaprijednoj vezi, bez elemenata kašnjenja. Kod ovih mreža, s obzirom da nemaju dinamičke memorije, izlaz mreže zavisi samo od trenutnih ulaza i težinskih koeficijenata.
� Za razliku od statičkih, dinamičke neuronske mreže u svojoj strukturi sadrže povratne veze, odnosno, u povratnim vezama se nalaze težinski koeficijenti i elementi kašnjenja, što je ključno za sposobnost memorisanja podataka u mreži.
Inteligentni sistemi 11 22Copyright: Lejla Banjanović-Mehmedović
14.12.2014
12
� Dinamičke mreže:
� Hopfieldove neuronske mreže
� Elmanove neuronske mreže
� NARX neuronske mreže
� Hopfieldove neuronske mreže su jednoslojne mreže s povratnim djelovanjem s izlaza na ulaz mreže.
� Elmanove neuronske mreže su višeslojne dinamičke neuronske mreže.
� NARX neuronske mreže – Ove neuronske mreže sastoje se od MLP neuronske mreže kojoj je izvana dodano povratno djelovanje i to tako da se na ulaz mrežedovode vrijednosti izlaznih signala mreže iz prethodnogkoraka uzorkovanja.
Dinamičke neuronske mreže
Copyright: Lejla Banjanović-Mehmedović
Inteligentni sistemi 11 23
NARX mreže
Copyright: Lejla Banjanović-Mehmedović
Matematički opis NARX mreže zasniva se na matematičkom opisu MLP mreže.
Inteligentni sistemi 11 24
14.12.2014
13
� Zbog svoje nelinearne prirode (nelinearne aktivacijske funkcije), neuronske mreže su pogodne za realizaciju kompleksnih nelinearnih funkcija i sistema.
� Osnovna osobina zbog koje su neuronske mreže vrlo dobar alat za identifikaciju sistema je mogućnost da uče iz iskustva (treniranje).
� Neuronske mreže se mogu primijeniti i na netrenirane ulaze, gdje se na osnovu naučenog može prediktovati izlaz iz procesa.
Primjena neuronskih mreža u identifikaciji
Copyright: Lejla Banjanović-Mehmedović
Inteligentni sistemi 11 25
� Promatranjem tehničkih sistema, teoretskom analizom se dobivaju tzv. fizikalni matematički modeli sistema, koji fizikalne zakonitosti njegovog ponašanja opisuju matematičkim jednačinama. Taj se postupak naziva modeliranjem sistema.
� Eksperimentalna analiza podrazumijeva odreñivanje tzv. eksperimentalnog matematičkog modela sistema na osnovu skupa mjernih vrijednosti ulaznih i izlaznih signala sistema. Ovaj se postupak naziva identifikacijom sistema.
Primjena neuronskih mreža u identifikaciji
Copyright: Lejla Banjanović-Mehmedović
Inteligentni sistemi 11 26
14.12.2014
14
� Postupak identifikacije odvija se u nekoliko osnovnih koraka:
� prikupljanje ulazno-izlaznih podataka, tj. mjernih vrijednosti ulaznih i izlaznih signala procesa
� izbor strukture modela procesa
� izbor kriterija kvaliteta modela procesa
� estimacija parametara modela procesa
� izbor optimalne dimenzije modela i njegovo vrednovanje.
Identifikacija sistema
Copyright: Lejla Banjanović-Mehmedović
Inteligentni sistemi 11 27
Blok šema postupka identifikacije procesa
Copyright: Lejla Banjanović-Mehmedović
Inteligentni sistemi 11 28
14.12.2014
15
� Uobičajena pretpostavka u identifikaciji procesa je da je proces koji se identificira linearan i vremenski nepromjenljiv.
� Meñutim, kod nekih procesa nelinearnost je jako izražena tako da linearni modeli nisu dovoljno dobri za opis njihovog ponašanja, već se moraju primijeniti nelinearni modeli.
Identifikacija sistema
Copyright: Lejla Banjanović-Mehmedović
Inteligentni sistemi 11 29
Identifikacija sistema
� Ponašanje nelineranog dinamičkog sistema u prostoru stanja:
� Kao aproksimacijska funkcija primjenjuje se:
� Parametriranjem funkcije odreñena je struktura modela procesa:
� Predikcijski model procesa ili prediktor!
� Vektor signala greški izmeñu izlaznih signala procesa i modela (vektor predikcijskih greški):
Copyright: Lejla Banjanović-Mehmedović
),,,( 11 Θ−− kkN yukf
),,,()( 11 Θ= −−∧
kkN yukfky
)()()( kykyke∧
−=
Inteligentni sistemi 11 30
)(),,()( 11 kyukfky kk ζ+= −−
14.12.2014
16
Identifikacija sistema
� U statistici se predikcijski model naziva nelinearnom regresijom.
� Vektor - regresijski vektor, njegove komponente - regresori
Inteligentni sistemi 11 Copyright: Lejla Banjanović-Mehmedović
� Razdvajanjem funkcije u kompoziciju dviju funkcija razdvaja se i problem izbora strukture opšteg nelinearnog modela procesa na dva zasebna problema:� izbor regresijskoga vektora , odnosno funkcije
koja preslikava prostor prošlih mjernih vrijednosti ulaznih i izlaznih signala procesa u regresijski prostor i
� izbor aproksimacijske funkcije koja preslikava regresijski prostor u izlazni prostor modela procesa
Copyright: Lejla Banjanović-Mehmedović
)(kϕ ),( 11 −− kk yuϕ
),( ΘϕNf
Inteligentni sistemi 11 32
14.12.2014
17
Modelske strukture
� U najopštijem slučaju, struktura modela može imati oblik:
Copyright: Lejla Banjanović-Mehmedović
33
� Nelinearni modeli:•NFIR modeli (engl. Nonlinear FIR models)•NARX modeli (engl. Nonlinear ARX models)•NOE modeli (engl. Nonlinear OE models) •NARMAX modeli ( engl. Nonlinear ARMAX models),•NBJ modeli (engl. Nonlinear BJ models).
Inteligentni sistemi 11
Izbor regresijskog vektora
Copyright: Lejla Banjanović-Mehmedović
Izbor (pseudo) regresijskog vektora φ(k)
� Tabela 1. Pregled regresora, odgovarajućih linearnih modela i