Mózg/komputer –jak to działa? · PDF file• Optymalizacja (szeregowanie zadań, planowanie) • Prognozowanie procesów(energetyka, giełda, medycyna-EKG/EEG ) ... -.....

2007-12-06

1

SZTUCZNE SIECI NEURONOWE

Architektura Typy Przeznaczenie

Procedury uczenia

Zastosowania

Literatura1. J. urada, M. Barski, W. Jdruch,

Sztuczne sieci neuronowe, PWN 1996

2. R. Tadeusiewicz, Sieci neuronowe, AOW 1993

3. J. Korbicz, et al.., SSN, AOW 1994

4. R. Tadeusiewicz, Elementarne wprowadzenie do techniki sieci

neuronowych, AOW 1998

Mzg/komputer jak to dziaa?

N L E VMetoda oblicze

Tolerancja na bdy

Uczenie

Inteligencja

1014 synaps 10-6m 30 W 100 HzRwnolegarozproszona

TAKTAK

zazwyczaj tak

108 tranzy-storw

10-6m30 W (CPU)

109HzSzeregowacentralna

NIE ?nie (narazie)

MZG WZORZEC DOSKONAYKOMPUTER TWR DOSKONALONYSSN niekonwencjonalne przetwarzanie

Programowanie Dziaanie sekwencyjne Pamici ROM/RAM

(algorytmy + dane) Podatne na

uszkodzenia Wysoka PRECYZJA

oblicze

UCZENIE RWNOLEGO ARCHITEKTURA +

WAGI POCZE ODPORNE NA

DEFEKTY Obliczenia

JAKOCIOWE

2007-12-06

2

Problem rozpoznaniagdzie tu jest pies? PRZEZNACZENIE SSN

Klasyfikacja (grupowanie, identyfikacja/US Navy + General Dynamics, Univ. of Pensylvania+TRW)

Aproksymacja (nieliniowa, wielowymiarowa)

Pamici asocjacyjne (rozpoznawanie obrazw)

Optymalizacja (szeregowanie zada, planowanie)

Prognozowanie procesw (energetyka, gieda, medycyna-EKG/EEG )

Automatyka, robotyka (sterowanie adaptacyjne/ NASA, sie ALVINN)

Rozpoznanie znakw kodowanych w matrycy 8x10

wejcia

wyjcia

warstwy porednie (ukryte)

44444 844444 76cznegoalfanumeryznaku kod

Problemy:

rozpoznanie negatywu, niestabilno

uczenie warstw ukrytych, architektura

sposb kodowania

Schemat sztucznego neuronu(Mc Cullocha-Pittsa: y = 1, e > ; y = 0, e < )

- i-ty sygna wejciowy

- czne pobudzenie neuronu

- charakterystyka neuronu

y - sygna wyjciowy

ix

=

=n

i

iixwe1

1x

2x

nx

( )ee y1w

2w

nw

wspczynniki wag

sumator aktywacja

2007-12-06

3

Elementarne ukady logiczne w modelu neuronu McC-P zadanie!!!

neuron

(wi = 1, prg = 0 OR 1)

U schemat bramki NOR(x1, x2, x3)

U schemat bramki NAND (x1, x2, x3)

Komrka pamici

=1

1

1

-1

yk +1 = xk

w2

y

w3

w1

Neuron liniowy(Adaline/sie-Madaline: y = e, = const )

- liniowa charakterystyka neuronu

y = e - sygna wyjciowy

xwxwe Tn

i

ii

rr==

=1

1x

2x

nx

( )ee y1w

2w

nw

wspczynniki wag - wektor

sumatoraktywacja linowa

Neuron nieliniowy(element perceptronowy (F. Rosenblatt): charakterystyka unipolarna lub bipolarna)

- i-ty sygna wejciowy

- czne pobudzenie neuronu

- nieliniowa charakterystyka neuronu

y - sygna wyjciowy

ix

=

=n

i

iixwe1

1x

2x

nx

( )ee y1w

2w

nw

wspczynniki wag - wektor

sumatoraktywacjanieliniowa

Nieliniowe charakterystyki neuronu(net = e , gdzie prg aktywacji neuronu)

Funkcja sigmoidalna

f-cja Heavisidea

Funkcja tangensoidalna

f-cja signum

( )( )net

nety+

==

exp1

11

0 e

1/2

( ) ( )( )net

netnety

+

==

exp1

exp11

0 e

-1

2007-12-06

4

Sie neuronowa ukad neuronw

Sie jednowarstwowa k sygnaw xRk

wejcia podane na n niepoczonych neuronw z uwzgldnieniem nxk wag wyx

=

=k

j

jiji xwy1

x1

x2

xk

y2

y1

ynwnk

w2k

w1kWxy =

( )Wxy =

Sie neuronowa wielowarstwowa

Sie wielowarstwowa kaskada 1-warstw przekazujca sygnay od wejcia do wyjcia z uwzgldnieniem wag porednich wij(p)

Sie wielowarstwowa problem liczby neuronw warstwy ukrytej

Struktura sieci: 36 nu 15 analiza bdu w epokach uczenia => optymalna liczba nu = 9 neuronw

Architektura sieci neuronowych

Sieci jednokierunkowe (feedforward networks) jeden kierunek przepywu sygnaw od wej do wyj

Sieci rekurencyjne (feedback networks) sieci ze sprzeniem zwrotnym (Hopfielda)

Sieci komrkowe

Sieci rezonansowe (ART-1; ART-2)

Sieci hybrydowe typu Counter-Propagation

2007-12-06

5

Metody uczenia sieci modyfikacja wag

Uczenie nadzorowane (delta, wstecznej propagacji bdu)

Uczenie nienadzorwane (korelacyjne) regua Hebba, regua Oja, instar, outstar

Uczenie konkurencyjne (WTA, WTM)

Metody mikkiej selekcji algorytmy genetyczne i symulowane odpranie

Perceptron prosty (element perceptronowy (F. Rosenblatt): charakterystyka unipolarna lub bipolarna)

1x

2x

nx

( )ee y1w

2w

nw

wektor wag w

sumatoraktywacjanieciga

rozszerzony wektor wej:

rozszerzony wektor wag:

===+

=

TT1

1

~~ xwxwn

i

iixwe

[ ]1,,...,,~ 21 = nxxxx[ ],,...,,~ 21 nwww=w

-1

Co potrafi element perceptronowy?

Dla okrelonego wektora wag w perceptron ocenia wysoko te wejcia x, dla ktrych kt z wektorem w jest may, bo wwczas pobudzenie jest due: w xT = cos() dla unormowanych wektorw wag i wej

hiperpaszczyzna dzielca przestrze obrazw x na 2 pprzestrzenie decyzyjne:

y = 0 oraz y = 1

w xT - = 0x1

x2

wy = 1

y = 0

Co to znaczy uczy sie?

Uczenie sieci to modyfikacja wag: tak, aby sygna wejciowy x dawa na wyjciu sieci obraz podany:

zamiast obrazu pierwotnego:

Bd uczenia:

ww ~

( )T~ xw =z

( )Txw =y

yz =

2007-12-06

6

1. Podaj wstpny wektor wag w(0), i = 1

2. Podaj wzorzec ui i wyznacz obraz yi (dla w(i-1))

3. Gdy obraz yi jest zgodny z podanym zi => (5)

4. Gdy i yi = 0 => w(i) = w(i-1)+ uiGdy i yi = 1 => w(i) = w(i-1) - ui

5. i = i +1 => (1)

Regua perceptronowa(algorytm uczenia z nadzorem)

0= iii yz0= iii yz

(1) Jak dobra strategi prezentacji wzorcw i wybr wag wstpnych?

(2) Warunek zbienoci uczenia LINIOWA SEPARACJA {ui}!!!

Perceptron 2-warstwowy (rozwizuje zadanie XOR)

warstwa wyjciowa: y = H(v xT 0)

warstwa ukryta: xk = H(wk xT k) dzieli przestrze wej k-razy na 2-ppaszczyzny, wic caa warstwa ukryta dzieli j na podzbiory, z ktrych jeden jest wypuky tu neurony s zapalone uk = 1

1x

2x

( )ev1

y

11w

21w

2-1

v2

12w22w

( )e

( )e

1-1

0-1

1-warstwowe klasyfikatory(minimalno-odlegociowe maszyny liniowe)

gi(x)=(wi)T.xfunkcje decyzyjne

xw1

wR

++

+gR(x)

g2(x)

g1(x)selektor

maxklasa

ix

ix= j dla xPjPj wzorzec klasy j

wektor obrazu z przestrzeni wymiaru n

Cel: podzia przestrzeni obrazw na obszary decyzyjne przynalene kadej klasie wzorcw Pj (1 j R) wg. minimum odlegoci:

min ||x Pi||2 = xTx 2(PiT.x PiT.Pi/2)

wi =Pi oraz win+1= PiTPi/2

sij: gi(x) - gj(x) = 0linie decyzyjne

Przykad: maszyna liniowa dla 3 klas(metoda analityczna)

P1

P2

P3x1

x2

obszar klasy 1

obszar klasy 2

obszar klasy 3

=

=

=

4

8;

4

2;

2

8321 PPPwzorce:

funkcje dyskryminacyjne:

g1(x)=(w1)T.x = 8x1+2x2 - 34

g2(x)=(w2)T.x = 2x1+4x2 10

g1(x)=(w1)T.x = -8x1- 4x2 - 40

=

=

=

40

4

8

;

10

4

2

;

34

2

8321 www

s12 : 3x1 - x2 12 = 0

s13 : 8x1 + 3x2 + 3 = 0

s23 : 5x1 - 4x2 15 = 0

linie rozdzielajce (hiperpaszczyzny):

2007-12-06

7

Sie klasyfikujca 3 obszary wg uczenia

x

w1

w3+

g3(x)+

g2(x)+

g1(x)

w2y2

y3

y1 rozproszone lub lokalne kodowanie klas

Uczenie dychotomizatora (2 klasy)

klasa 1: wT x1 > 0 (x1P1) oraz klasa 2: wT x2 < 0 (x2P2)

Zgodnie z regu delta modyfikacje wag nastpuj przez +/- xk :

gdzie + dla x1P1, a - dla x2P2

(aktywacja bipolarna - signum)

(aktywacja unipolarna skok 0/1)

( ) ( ) ( ) kkkkk yd xww 211 =+

( ) ( ) ( ) kkkkk yd xww 1 =+

zakoczenie procesu, gdy od pewnego czasu t modyfikacje zanikn:

w(t+1) = w (t+2)= .... = w*

Uczenie dychotomizatora (c.d.)

w1

w2

x2

x1

w(1)

w(2)

w(3) = w(4) = w*

w(1)

w(2) = w(3) = w*

=

=

1

2;

2

121 xx

( ) [ ] ( )

=+

==

===

=

3

2

1

31

2

113sgn;1;;

1

31

2111

11 xwydxxw

[ ] ( ) =

=

==

=== wxwydxx

4

0

3

21

1

232sgn;1; 2

3212

2

Klasyfikator cigy