Umjetna inteligencija Umjetne neuronske mreže –...1 Neizrazite neuronske mreže 1 Umjetna inteligencija-Umjetne neuronske mreže – Neizrazite neuronske mreže 47895/47816 UMINTELI

1

Neizrazite neuronske mreže 1

Umjetna inteligencija

- Umjetne neuronske mreže –

Neizrazite neuronske mreže

47895/47816 UMINTELI

HG/2008-2009

Sveučilište u Zagrebu

Fakultet prometnih znanostiDiplomski studij


IZRAZITI MODEL NEURONA

n

i

ijj dI1

)( jj Iy

Aktivacijska

funkcija

j

Zbroj

opterećenih

ulaza

Ij

JEZGRA

NEURON j

yj

x1

x2

xi

wij

SINAPSE -

TEŽINE

w1j

w2j

xn

wnj DENDRITI

AKSON

ULAZNI

SIGNALI

IZLAZNI

SIGNAL

)( iijij xwd

j = 1,2, ... m

2


FUZIFIKACIJA IZRAZITOG MODELA NEURONA (1)

– Ulazni vektor x = [x1, x2, ... , xn]T Rn zadan na

intervalu [0, 1]. Ulazni neuron y = x (razdioba)

– Sinaptičke težine su zadane na intervalu [0, 1]

– Dendritički ulazi su rezultat logičkih operacija npr.,

di = xi wij

– Operacija združivanja dendritičkih ulaza, zbroj

opterećenih ulaza, je logička operacija, npr.

iji

n

iij

n

ij wxdI

11


FUZIFIKACIJA IZRAZITOG MODEL NEURONA (2)

– Neizraziti neuron predstavlja linguističku vrijednost, npr.

NISKO

– Vrijednost izlaznog signala yj u intervalu [0, 1] odgovara

stupnju pripadnosti ulaznog vektora [x1, x2, ... , xn]T

linguističkoj vrijednosti

– Neuron j poslije prijema n ulaznih signala i obrade

prenosi izračunati stupanj pripadnosti yj na ostala (m -1)

neurona neuronske mreže sastavljene od m neizrazitih

neurona

– Svojstva neizrazitog neurona zavise o dendritičkim

operacijama, operacijama združivanja i aktivacijskim

funkcijama

3


ZDRUŽIVANJA DENDRITIČKIH ULAZA

• MAX NEIZRAZITI NEURON

• Izračunavanja maksimuma

dendritičkih ulaza - logička

ILI operacija

• MIN NEIZRAZITI NEURON

• Izračunavanja minimuma

dendritičkih ulaza - logička I

operacija

iji

n

iij

n

ij wxdI

11

iji

n

iij

n

ij wxdI

11


FUNKCIJE PRIPADNOSTI KOD NEURONA

Sinaptičke vrijednosti 1,0ix

m

j

yIj uuyj

1

/)(Izlazna vrijednost

m

j

Ij uuIj

1

/)(Združene vrijednosti

1,0u

m

j

dij uudij

1

/)(Dendritičke vrijednosti

4


NEIZRAZITE RELACIJE I KOMPOZICIJE KOD NEURONA

Dendritički ulazi - kompozicija ulaznih signala i težine

ijiij wxd

ijiij dxw

Težina - neizrazita relacija (Kartezijev produkt)

Poticanje, sprečavanje - neizraziti komplement na [0, 1]

ij

ij

ij d

d

ijij dd 1poticanje

sprečavanje


DENDRITIČKI ULAZI KOD NEURONA

jIj yj

x1

x2

x3

w3j

d1j

w2j

x4

w4j

w1j

d2j

d3j

d4j

1j

2j

3j

4j

Pojačanje 1j = d1j 2j = d2j

Slabljenje 3j =1 - d3j 4j = 1 - d4j

5


FUNKCIJE ZDRUŽIVANJA I AKTIVACIJE NEURONA

Općenito funkcija združivanja: T-norma ij

n

ij TI

1

Aktivacijska funkcija

ij

n

ijjj TIy

1

Linearna aktivacijska funkcija jj Iy

ij

n

ij Ty

1


T-NORME

Logički umnožak (Minimum) 2121 ),( xxxxT

Poopćavanje operacije I na implikaciju, zaključivanje

Algebarski umnožak 2121 xxxx

Ograničeni umnožak 0)1( 2121 xxxx

“Grubi” umnožak

protivnomu

x

x

x

x

xx 1

1

0

2

1

1

2

21

6


AKSIOMI T-NORME T: [0, 1] x [0, 1] -> [0, 1]

1221 xTxxTx 1,0, 21 xx

Zamjena

00,1 TxxTx 1,0x

Izraziti I

321321 )()( xTxTxxTxTx 1,0,, 321 xxx

Pridruživanje

323121 xTxxTxondaxxako 1,0,, 321 xxx

Uređenje


S-NORME

Logički zbroj (Maksimum) 2121 ),( xxxxS

Poopćavanje operacije ILI na implikaciju, zaključivanje

Algebarski zbroj 212121 xxxxxx

Ograničeni zbroj 1)( 2121 xxxx

“Grubi” zbroj

protivnomu

x

x

x

x

xx 0

0

0

2

1

1

2

21

7


AKSIOMI S-NORME S: [0, 1] x [0, 1] -> [0, 1]

1221 xSxxSx 1,0, 21 xx

Zamjena

xSxSx 0,11 1,0x

Izraziti ILI

321321 )()( xSxSxxSxSx 1,0,, 321 xxx

Pridruživanje

323121 xSxxSxondaxxako 1,0,, 321 xxx

Uređenje


ODNOS T-NORME I S-NORME

De Morgan-ovi zakoni za neizrazite skupove

),(),( 2121 xxSxxT

),(),( 2121 xxTxxS

8


IZVEDBA NORMI NEIZRAZITIM NEURONIMA

1x

2x),(),( 2121 xxTxxSy j

jyTT

1x

2x

),( 21 xxTy j T

Linearna aktivacijska funkcija


NEIZRAZITI NEURON VRSTE I

1x

nx

jyI


2xjw1

njw

jw2

ijiij wILIxd S-norma:

T-norma: )()()( 2211 njnjjj wILIxIIwILIxIwILIxy

)(1

iji

n

ij wSxTy

Sprečavanje:Općenito: ix1

9


NEIZRAZITI NEURON VRSTE ILI

1x

nx

jyILI


2xjw1

njw

jw2

ijiij wIxd T-norma:

S-norma: )()()( 2211 njnjjj wIxILIILIwIxILIwIxy

)(1

iji

n

ij wTxSy

Općenito: Sprečavanje: ix1


GRANIČNI SLUČAJ NEIZRAZITIH NEURONA

0ijw ii xSx 0

1ijw 11Sxi Ulaz ne utječe na izlaz

Dodatni prilagodljivi član 00 x jj wwS 000

)(0

iji

n

ij wSxTy

)(1

iji

n

ij wSxTy

• Neuron vrste I

• Neuron vrste ILI )(0

iji

n

ij wTxSy

10


TROSLOJNA NEIZRAZITA NEURONSKA MREŽA (1)

Ulazni sloj Unutarnji sloj Izlazni sloj

I

I

ILI

y

x1

x2

x2n

z1

zp

)(

11inli

n

ilii

n

il wSxTTwSxTz

zl

ll

p

lvTzSy

1


TROSLOJNA NEIZRAZITA NEURONSKA MREŽA (2)

Ulazni sloj Unutarnji sloj Izlazni sloj

I

y

x1

x2

x2n

z1

zp

)(

11inli

n

ilii

n

il wTxSSwTxSz

zl

ll

p

lvSzTy

1

ILI

ILI

11


MREŽNI MODEL NEIZRAZITIH PRAVILA ZAKLJUČIVANJA

n - neizrazitih ulaza

m - neizrazitih pravila

T

T

T

T T

S

y

y1

y2

ym

T ( I , min) neuron

S ( ILI, max ) neuron

x1

x n

x2

1. sloj 2. sloj 3. sloj


PODUČAVANJE NEIZRAZITE NEURONSKE MREŽE

• Promjenom težina sinaptičke veze poboljšati stupanj

podučenosti neuronske mreže

• Model sinaptičke veze

– izraziti neuron: skalarna veličina

– neizraziti neuron: dvodimenzionalna neizrazita relacija

12


PODUČAVANJE NEIZRAZITOG NEURONA (1)

x1(k)

xi(k)

xn(k)

dj(k)wij(k)

Neuron j

Aktiv.

funkcijaT

Algoritam

promjene

težine

yj(k)

-ej(k)

+tj(k)


PODUČAVANJE NEIZRAZITOG NEURONA (2)

)()()1( kwkwkw ijijij

)()()()( kyktFkeFkw jjjij

Pravilo promjene neizrazite relacije (težine) j-tog neurona

Promjena wij(k) odgovara promjeni plohe neizrazite relacije

13


OPĆI POSTUPAK UČENJA NEIZRAZITE MREŽE

Višeslojna neizrazita mreža - faktor stupnja podučenosti Q

N

k

kk txyQ1

2)(

sinapse)sinapse)

((

Q

= koeficijent učenja između 0 i 1


PRIMJER: UPRAVLJANJE VOZILOM

Vožnja vozila po sredini ravne ceste.

Opis približnog položaja i smjera vozila u odnosu na rub

ceste neizrazitim ulaznim varijablama u k-tom trenutku:

- udaljenost_od_lijevog_ruba (Lk),

- udaljenost_od_desnog_ruba (Rk),

- kut_smjera (k),

- kut_promjene_smjera (k).

Opis položaja upravljača neizrazitom izlaznom varijablom:

- kut_upravljanja (k).

14


MODELIRANJE UPRAVLJANJA VOZILOM

Ulaz

Izlaz


BAZE NEIZRAZITOG ZNANJA O UPRAVLJANJU (1)

ako udaljenost_s_lijeve_strane je Ljk I

udaljenost_s_desne_strane je Rjk

onda kut_upravljanja je jk, j = 1, 2, ..., 16

Baza znanja o zadržavanju vozila na sredini ceste sadrži

16 pravila oblika:

15


BAZE NEIZRAZITOG ZNANJA O UPRAVLJANJU (2)

Baza znanja o zadržavanju vozila usporedno s rubom

ceste sadrži 9 pravila oblika:

ako kut_smjera je jk I

kut_promjene_smjera je jk

onda kut_upravljanja je jk, j = 1, 2, ..., 9


NEIZRAZITI SKUPOVI LINGUISTIČKIH VARIJABLI

ZE Približno nula

S Malo

M Srednje

L Jako

P Pozitivno

N Negativno

PS Malo pozitivno

PM Srednje pozitivno

PL Jako pozitivno

NS Malo negativno

NM Srednje negativno

NL Jako negativno

16


FUNKCIJE PRIPADNOSTI NEIZRAZITIH SKUPOVA

Udaljenost od rubaKut smjera

Kut upravljanja


NEIZRAZITA NEURONSKA MREŽA ZA UPRAVLJANJE

DF = Defuzifikacija

DF1. sloj 2. sloj

3. sloj 4. sloj

)(16

11

k

jj

NTy

)(9

12

k

jj

NTy

),( 213 yyTy ))(( 34 yNTy

17


Umjetna inteligencija Umjetne neuronske mreže –...1 Neizrazite neuronske mreže 1 Umjetna inteligencija-Umjetne neuronske mreže – Neizrazite neuronske mreže 47895/47816 UMINTELI

Documents