5/23/2013 1 Prepoznavanje uzoraka Hopfieldove mreže i asocijativne memorije Vanr.prof.dr. Lejla Banjanovic‐Mehmedovic Prepoznavanje uzoraka Copyright: Lejla Banjanovic‐Mehmedovic Hopfieldove mreže • Hopfieldove mreže su nelinearne mreže s povratnim vezama koje su • Hopfieldove mreže su nelinearne mreže s povratnim vezama koje su zasnovane na principu pamćenja informacija u dinamički stabilnim stanjima. • Svaki uzorak je zapamćen u jednom lokalnom minimumu energetske funkcije • Kroz rad mreže, bilo koje početno stanje konvergira ka najbližem minimumu energetske funkcije H fi ld ž k i tiM C ll h Pitt dl (il i 1 ili 1) • Hopfieldova mreža koristi McCulloch‐Pitts model neurona (izlazi +1 ili ‐1) • Stanje mreže koja se sastoji od N neurona može se opisati vektorom s = [ s1, s2, …, sN ]T Prepoznavanje uzoraka Copyright: Lejla Banjanovic‐Mehmedovic
15
Embed
Hopfieldove mreže i asocijativne memorije - lejla-bm.com.ba NM.pdf · 5/23/2013 7 Problemi Hopfieldove memorije • Dva najvećaproblema Hopfieldove memorije su – neplanirano stabilno
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
• Hopfieldove mreže su nelinearne mreže s povratnim vezama koje su• Hopfieldove mreže su nelinearne mreže s povratnim vezama koje suzasnovane na principu pamćenja informacija u dinamički stabilnimstanjima.
• Svaki uzorak je zapamćen u jednom lokalnom minimumu energetskefunkcije
• Kroz rad mreže, bilo koje početno stanje konvergira ka najbližemminimumu energetske funkcije
H fi ld ž k i ti M C ll h Pitt d l (i l i 1 ili 1)• Hopfieldova mreža koristi McCulloch‐Pitts model neurona (izlazi +1 ili ‐1)
• Stanje mreže koja se sastoji od N neurona može se opisati vektorom s = [ s1, s2, …, sN ]T
•Par neurona i i j povezani susinaptičkom težinom wji kojaodređuje doprinos izlaznogsignala si neurona i na ulazu uneuron j
• Hopfieldove mreže su mreže sa simetričnim težnskim vrijednostima: wij=wji.Hopfield ‐ ako su težinski koeficijenti simetrični mreža će težiti ravnotežnomstanju i izbjeći će periodično ili haotično ponašanje.
yj(k‐1) – vrijednost svih čvorova (j≠i) iz predhodnog koraka (rekurzivna vrijednost)yj vrijednost svih čvorova (j≠i) iz predhodnog koraka (rekurzivna vrijednost)
• Hopfieldova mreža može biti realizovana i kao kontinualan model u kojem• Hopfieldova mreža može biti realizovana i kao kontinualan model, u kojemje vrijeme kontinualna varijabla i čvorovi imaju kontinualan, stepenastiizlaz, a ne izlaz od dva stanja.
• To znači da energija mreže opada kontinualno u vremenu i takve mreže senazivaju kontinualnim Hopfieldovim mrežama.
• Hopfield je pokazao da kontinualne Hopfieldove mreže imaju iste korisneosobine kao i diskretni model.
• Kontinualna Hopfieldova mreža se realizuje kao analogno elektronsko kolo• Kontinualna Hopfieldova mreža se realizuje kao analogno elektronsko kolo, koje se sastoji od nelinearnih pojačavače i otpornika.
On se sastoji od n pojačavača(čvorova), od kojih svaki mapirasvoj ulazni napon ui u izlazninapon yi, pomoću jednačine a(ui),koja može biti npr. sigmoidnakoja mo e biti npr. sigmoidnafunkcija:
a(λui)=1/(1+e‐λui),
gdje je λ parametar pojačanja. Kadaλ→∞, kontinualni model postajediskretni.
• Pravilo osvježavanja za svaki čvor u kontinualnoj Hopfieldovoj mreži može se dobiti pisanjem jednačine razvoja sistema, za sklop sa slike, koji predstavlja ulaz u čvor kontinualne Hopfieldove mreže:predstavlja ulaz u čvor kontinualne Hopfieldove mreže:
• Asocijativne memorije rade na principu asocijacije i prepoznavanja Kada• Asocijativne memorije rade na principu asocijacije i prepoznavanja. Kada se asocijativnoj memoriji na ulaz dovede probni uzorak, zvani ključ, ona kao rješenje šalje onaj uzorak, iz liste uzoraka pohranjenjih u memoriji, koji je najsličniji ključu.
• Povrat informacije se vrši kroz prepoznavanje dodjeljene informacije unutar već pohranjenih informacija. Takve memorije se takođe zovu i memorije adresirane preko sadržaja ili CAMmemorije (contentmemorije adresirane preko sadržaja ili CAM memorije (content‐addressable memories)
Možemo razlikovati dva tipa asocijativnih memorijaMožemo razlikovati dva tipa asocijativnih memorija.
• autoasocijativne memorije
• heteroasocijativne memorije• U autoasocijavnim memorijama
predpostavljeno je da je xi=yi i da mrežaimplementira mapiranje Φ { Φ: R‐>R |Φ(xi)=xi }. Ako je neki uzorak x sličniji xinego bilo koji xj za j=1, 2, ..., p i j≠i, onda jeΦ( ) iΦ(x)=xi
• U heteroasocijavnim memorijama mrežaimplementira mapiranje Φ { Φ : R‐>R |Φ(xi)=yi }. I ako je neki proizvoljan uzorak xsličniji xi nego bilo koji drugi xj za j=1, 2, ...,p i j≠i onda je Φ(x)=yi.
• U specijalnom slučaju ako vektori xi za i 01 2 p formiraju ortonormalan• U specijalnom slučaju ako vektori xi, za i=01,2,...,p formiraju ortonormalanprostor, asocijativna memorija može se definisati kao:
Φ(x)=Wx=(y1(x1)T+y2 (x2)T+...+yp(xp)T)x
gdje je W matrica težinskih vrijednosti, koja se naziva kros‐korelacionamatrica. Lako se vidi da je Φ(xi )=Wxi = yi kada vektori xi čine ortonormalanskup vektora.
Asocijativne mreže sa matricama težinskih vrijednosti definisanih kao uj d či i li i ij tjednačini, zovu se linearni asocijator .
• Ako je ulazni vektor x u linearni asocijator drugačiji od bilo kojeg xi, (i=1,2,...,p)tako da je x=xi+d, onda je izlaz: Φ(x)=Φ(xi+d)=yi+Wd gdje je Wd šumpreslišavanja, uzrokovan smetnjama u ulaznom uzorku. Linearni asocijatorne pruža način za suzbijanje šuma preslišavanja tako da je njegovaupotreba za tačno prepoznavanje ograničena.
• Hopfield‐ove memorije su rekurentne autoasocijativne memorije. Onei j b t d t i i l i kt ( k) i ij k d j jimaju sposobnost da vrate originalni vektor (uzorak) iz memorije kada jojse na ulaz dovede vektor približan originalu.
)(1
)()1(
n
ijj
iik
jijk
i xywsngy Pravilo za vraćanja podataka izmemorije (pravilo čitanja)
pIxxWp
k
Tkk 1
)(
p
k
kj
kiij xxw
1
ili
Algoritam za pohranjivanje je algoritam zanalaženje matrice težinskih vrijednosti ipredstavlja Hebbianovo pravilo učenja ilipravilo krajnjeg proizvoda.
• Dva najveća problema Hopfieldove memorije su• Dva najveća problema Hopfieldove memorije su
– neplanirano stabilno stanje, poznato pod nazivom lažno stabilno stanje(spurious stable state) koje je uzrokovano dodatnim minimumima energije.
– nesigurnost popravke uzorka, koja ovisi od kapaciteta Hopfieldove mreže.Preopterećena memorija može dovesti do male Hammingove distance izmeđupohranjenih uzoraka te može doći do greške u prepoznavanju.
• Primjećeno je da broj lažnih stabilnih stanja opada sa povećanjemPrimjećeno je da broj lažnih stabilnih stanja opada sa povećanjemdimenzija pohranjenog vektora (na primjer, broja njegovih neurona n) sobzirom na broj pohranjenih vektora. Na kraju, došlo je do toga da seunutar Hammingovog prečnika (radijusa) nalazi relativno malo lažnihstabilnih stanja, za svaki orginalno pohranjen vektor, te postaje ispravnoposmatrati svaku memoriju kao da ima svoj fiksan prečnik konvergencije.
• Postavlja se pitanje šta je kapacitet Hopfieldove memorije koja je veza• Postavlja se pitanje: šta je kapacitet Hopfieldove memorije, koja je vezaizmeđu broja pohranjenih memorija i veličine mreže. Zaista, kapacitet jenajvažniji parametar performanse u asocijativnim memorijama.
• Mjera za kapacitet asocijativne memorije je radijus privlačnosti ρ, kojipredstavlja distancu ρn od stabilnog stanja. Ta distanca je takva, da svakivektor unutar nje, će u jednom trenutku doseći stabilno stanje x. Distancaρn se uzima da je Hummingova distanca pa stoga predstavlja cijeli brojρn se uzima da je Hummingova distanca, pa stoga predstavlja cijeli broj.
N k j d t H fi ld ž k j t ji• Neka nam je data Hopfieldova mreža, koja se sastojiod dva neurona, i koja ima dva stabilna ravnotežnastanja.
• Teorija kaže da će sa vremenom će sva početna stanjazavršiti u jednom od ta dva stabilna stanja. Ono što ćeodlučiti u kojem će stabilnom stanju završiti kojekretanje, je blizina početnog i ravnotežnog stanja.
• U ovom primjeru ćemo simulirati ponašanje jedne• U ovom primjeru ćemo simulirati ponašanje jednetakve mreže.
Na ovoj slici vidimo da su sva stanja završila u jednoj od stabilnih tačaka, a u kojoj su završili zavisilo je samo od udaljenosti početke tačke i ravnotežne tačke
Uzećemo neko, bilo kojel i či islovo, i učitati ga, naprimjer slovo 'C'. Zatimtrebamo da mu, pomoćuklizača i dugmića 'AddNoise', dodamo određenukoličinu šuma, da gapokvarimo.
Pomoću klizača, smo dakle dodali proizvoljnu količinu šuma. U ovom slučaju 27%. Šumse dodaje tako što određeni broj pixela, crnih i bijelih, zamjene međusobno mjesta.Prepoznavanje uzoraka Copyright: Lejla Banjanovic‐Mehmedovic
Run
Nakon dodavanja šuma,slovo je veoma oštećeno,li i ljiali ne i neprepoznatljivo.Pritiskom dugmića 'Run'Hopfieldova mreža, ćeprimiti pokvarenu sliku kaoulaz=ključ, uporediti je sasvim slikama, koje smopredhodno pohranili unjenu memoriju i poslatisliku koja je najsličnijasliku koja je najsličnijaključu.
Budući da slika nije bilaneprepoznatljiva, mreža jebez problema poslalapravu sliku iz memorije.
l č l korginalnu, čistu slikuslova ‘C’, već dobijamojoš jednu pokvarenu iiskrivljenu sliku togslova. Međutim i to jeveoma značajan ikorisan rezultat, jerslika iako iskrivljena,ona je prepoznatljivaona je prepoznatljiva.
Ovako sretno rješenje se nedešava svaki put. Ponekadako dodamo previše šumaako dodamo previše šuma,koliko god ponavljalioperaciju ‘Run’ nećemodobiti početno rješenje.
U nekim eksperimentima sadodavanjem previše šumadošlo je do prepoznavanjapogrešnog slova ili
j lprepoznavanja pravog slovaali pogrešne boje (bijelo nacrnom), tako da ovoprepoznavanje nepredstavlja pravilo .
U ovom primjeru, Hopfieldova memorija sa 120 čvorova, 14400 težinskihvrijednosti, koristi se za smještanje 8 uzoraka pokazanih na slici.Ulazni elementi u mreži uzimaju vrijednosti +1 za crne piksele i -1 za bijele.Pri testiranju prepoznavanja uzorak za broj 3 je pokvaren nasumičnomPri testiranju prepoznavanja, uzorak za broj 3 je pokvaren nasumičnomzamjenom svakog bita, nezavisno da li pretvaramo +1 u -1 i obratno, savjerovatnoćom 0,25.Ovakav oštećeni uzorak se koristi kao ključni uzorak u Hopfieldovoj mreži upočetnom trenutku. Stanje u mreži tokom iteracija od 0 do 7 je prikazano naslici. Očigledno je da poremećeni uzorak ponovo pretvara u broj 3.
• Hopfieldove mreže imaju mogućnost da ocjene koji je pohranjeni uzorak• Hopfieldove mreže imaju mogućnost da ocjene, koji je pohranjeni uzorakili stabilno stanje, najbliže nekom početnom stanju iz kojeg počinju'kretanje'.
• Asocijativne memorije ‐ memorije koje rade na principima prepoznavanjena osnovu sličnosti. Na osnovu njihove sposobnosti da prepoznaju koji jeuzorak iz memorije najsličniji uzorku, koji se prosljeđuje kao ulazniparametar, Hopfildove mreže mogu otklanjati šum veoma uspješno.