Retele Neurale / Algoritmi Genetici

Mit si realitate

[ sau de la Terminator la implementare ]

... Pentru inceput Retele neurale nu inseamna neaparat inteligenta

artificiala.

Aproximant universal

Algoritmi genetici – cel mai bun lucru pe care l-am furat din natură

Ce sunt RNA ? Neuroni + sinapse

Funcţia de activare defineşte în ce condiţii un neuron emite un impuls către alţii

Pentru simplitate – neuronii sunt organizaţi în straturi

Stratul n isi primeste mereu intrarile de la stratul (n-1) sitrimite iesirile la stratul (n+1)

Cum arata ?

Wikipedia

Pattern matching (feţe, voci, mişcări)

Predicţia proceselor semi-aleatoare

Evaluare de risc şi efectuare de decizie în condiţii de incertitudine

Găsirea soluţiilor aproape-optime în probleme computaţional dificile (algoritmi genetici)

La ce sunt utile ?

Flexibile, versatile la condiţii noi si schimbatoare

Adaptabile la schimbări

Rezistente la zgomot – erorile locale nu au impact global

“Furate” din natură

Ce sunt …

Oracole – nu vor prezice evenimente singulare, fără precedent

Inteligente sau conştiente

Uşor de depanat în timpul execuţiei

Uşor de antrenat

Scalabile

Ce NU sunt…

Backpropagation (gradient descent)

Minime locale

Proces lent

Algoritmi genetici (selecţie naturală in silico)

Monte Carlo – Simulated annealing – (blackjack selectiv)

Metode de antrenare

Arhitectura de predictie

Validare configuratiei

Blind back-testing Studiu statistic

Antrenare retelelor

Minimizarea erorii Minimizarea complexitatii

Meta-optimizare retelelor

Alegerea intrarilor Stabilirea configuratiei

Algoritmi memetici Genetic = informatia se schimba intre indivizi odata pe

generatie

Memetic = informatia se schimba in mod continuuintre indivizi (in timpul unei generatii

Retele sociale

Difuzie de informatie

Gossip nets

Limitari severe Necesita putere de calcul imensa

RNA: 104 neuroni; 106 sinapse

Creier uman matur: 1011 neuroni; 1014 sinapse

Sistemele biologice sunt masiv paralele. Variantadigitala e doar incipient paralela.

Nu pot prezice/controla evenimente imprevizibile(BLACK SWANS)

Spiking neural nets (cu serii de impulsuri)

Pruning şi structuri dinamice

Memorii parţiale asociative

Hardware paralel specializat

… Nanotehnologie ? … pam pam

Direcţii de cercetare

Stuff to Google Artificial Neural Networks www.heatonresearch.com

Backpropagation

Simulated Annealing

Genetic Algorithms

Memetic Algorithms

Nassim TALEB

The Black Swan / Fooled by Randomness

Cod: Encog / AForge / Joone (neural) / Weka 3

O resursa romaneasca de AI Intelligentics

[ intelligentics.ro ]

intelligentics.ro/forum/

O carte hardcore

Neural Networks

A Systematic IntroductionRaúl Rojas

http://www.inf.fu-berlin.de/inst/ag-ki/rojas_home/pmwiki/pmwiki.php?n=Books.NeuralNetworksBook

“Predicting the future is hard, especially if it hasn't happened yet.” -- Yogi Berra

“You can see a lot just by looking.”-- Same guy