Neurono vé sítě

Neuronové sítě

Jakub Krátký

Obsah prezentace

Definice Charakteristika umělých neuronových

sítí Základní aplikační oblasti Perceptron Minsky-Papertův omyl Jednovrstvé sítě Vícevrstvé sítě Zdroje

Definice neuronových sítí

Umělá neuronová síť je distribuovaný výpočetní systém sestávající z dílčích podsystémů (neuronů), který je inspirován neurofyziologickými poznatky o struktuře a činnosti neuronů a nervových systémů živých organizmů, a který je ve větší či menší míře realizuje.

Charakteristika umělých neuronových sítí

Umělé neuronové sítě (ANN) se snaží napodobit funkci biologické mozkové tkáněSchopnost extrahovat a reprezentovat závislosti v datech, které nejsou zřejméSchopnost řešit silně nelineární úlohySchopnost učit se a generalizovat své znalosti

Základní aplikační oblasti

KlasifikaceRegresePredikceAsociaceOptimalizaceFiltraceshluková analýzakomprese dat

Perceptron

Tvořen jediným neuronemLineární separátory – výstup (aktivita) neuronuS – nelineární přenosová funkcexi – hodnota i-tého vstupu

wi – hodnota i-té synaptické váhyΘ – práh neuronu (posunutí)Výraz v závorce – vnitřní potenciál

Základní typy aktivačních funkcí

Minsky-Papertův omyl

x1

x2

y resp. d

1

w02

1

1

w01

w03

w11

w22

w21

w12

w13

w23

y1

y2

0 0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

x1

x 2

1w

2w

nw fy

1x

2x

nx

10 x

0w

Jednovrstvé sítě I – Hopfieldova síť

Zpětnovazební (rekurentní) síťVybavuje nejbližšího souseda (autoasociativní), není klasifikátorem!Učí se HebbovskyTypicky binární vstupyUčení jednorázové (zapamatování vstupních vzorů), vybavování iteračníSíť má tolik neuronů, kolik má vstupůPočet naučitelných vzorů ≈ 15% počtu vstupů

Jednovrstvé sítě I – Hopfieldova síť

Výstup neuronu je připojen na vstupy všech ostatních neuronů, avšak ne na svůj vlastníMezi každými dvěma neurony existuje vzájemné a identické propojení

ny1ny2y1y

nx1x 2x 1nx nx

ny

1nx

1ny2x

2y

1x

1y

Jednovrstvé sítě I – Hopfieldova síťUčení vybavování

,01

jipro

jiproxxw

s

kkjki

ij

ii xy )0(

n

iiijj tywfty

1

1

Jednovrstvé sítě II – Kohonenova

SOM – Self Organizing MapsUčení bez učitele, samoorganizuje seJe bez výstupuProvádí shlukovou analýzuNení klasifikátorem

Jednovrstvé sítě II – Kohonenova

Učení iterační pomocí okolí a laterální inhibice

Jednovrstvé sítě II – Kohonenova

Vícevrstvé sítě I – ML perceptron

Nejrozšířenější a nejpoužívanější síťIterační metoda učení s učitelemJednorázové vybavováníTrénovací, testovací a validační množina

Vícevrstvé sítě I – ML perceptronNejpoužívanější metoda učení – backpropagation => zpětné šíření chybyGradientní metodaAktivační funkce musí být spojitá a diferencovatelná, typicky sigmoidaUčení je ukončeno ve chvíli, kdy globální chyba klesne pod předem stanovenou mezProblém uváznutí v lokálním extrému a přeučení (over-fitting)

Vícevrstvé sítě II – RBF

Radial Basis Function (RBF), síť radiálních jednotekDva typy neuronů: radiální a perceptronového typu (nejčastěji lineární)Váhy v první vrstvě jsou nastavovány pevně na začátku učení, ve druhé vrstvě podobně jako u vícevrstvé perceptronové sítě nebo přímo regresíSíť se učí velmi rychleVhodná jak pro klasifikaci, tak pro regresi

Vícevrstvé sítě II – RBF1

ijc jkw

x1

x2

nx

kw0

2

h

1

y1

y2

my

b

cx 2 e

h

jjjk

h

jjjkkk wwwy

010 )()(

Postsynaptický potenciál Aktivační funkce

Adaptace vah

Vícevrstvé sítě III - GAME

Při učení roste podle datVybírá nejlepší jednotky pomocí genetického algoritmuHeterogenní jednotky (lineární, sigmoidní, polynomiální, malé neuronové sítě,..)Každá jednotka počet vstupů roven číslu vrstvy

Zdroje

http://gerstner.felk.cvut.cz/biolab/33KP/prednasky_ann/prezentace_ns.ppthttp://service.felk.cvut.cz/courses/36NAN/Mařík V., Štěpánková O., Lažanský J. a kol.: Umělá inteligence 4. Academia, Praha, 2003Šnorek, M., Jiřina, M.: Neuronové sítě a neuropočítače. Skripta ČVUT, Praha 1997