1 Redes Neuronales & Java M. D. López De Luise Java y el XML 27/10/05 (19:00hs) (D. López De Luise) La IA en Java 17/11/05 (19:00hs) (D. López De Luise) Webbrowsing con Java 24/11/05 (19:00hs) (D. López De Luise) Cognitive Memory 21/11/05 (19:00hs) (S. Piedrahita) informes: [email protected][email protected]M. D. López De Luise M. D. López De Luise 0 Presentar los fundamentos de las Redes Neuronales y su aplicación desde la perspectiva del lenguaje Java. •Terminología de la neurona •El modelo neuronal •Modelos y codificación de información •Algunas redes famosas •Librerías open source Por qué RN? 1958 Surge con F. Rosenblat: Perceptrón 1969 M. Minsky y S. Papert: limitaciones del Perceptrón 1982 J. Hopfield: descripción matemática del modelo 1985 American Institute of Physics: annual meeting of NN 1987 IEEE: First International Conference on NN 1990 US Dep. of Defense: Small Business Innovation Research Pgm 2001 IEEE: Neural Networks Society 2003 IEEE: Neural Networks local Chapter 2005 Soft-computing (CIS) Genetic algorithms Heuristics algorithms Fuzzy Logic Evolutionary algorithms aplicaciones Neural Networks Neural Networks M. D. López De Luise 1 Intelligent Agents Monitoring Sys. Warning Sys. ADSS Process Automation Smart devices Intelligent Personal Assistant Por qué RN? M. D. López De Luise 1 aplicaciones Parallel Processing Fault tolerance Self-organization Generalization ability Continuous adaptivity características RN Comportamiento interno complicado Por qué no RN? Precisión menor al 100% Cantidad de datos para entrenar Es un arte? algunos prejuicios M. D. López De Luise 0
6
Embed
Redes Neuronales - · PDF filePresentar los fundamentos de las Redes Neuronales y su aplicación desde la perspectiva del lenguaje Java. •Terminología de la neurona •El...
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
1
Redes Neuronales& Java
M. D. López De Luise
Java y el XML 27/10/05 (19:00hs)(D. López De Luise)
La IA en Java 17/11/05 (19:00hs)(D. López De Luise)
Webbrowsing con Java 24/11/05 (19:00hs)(D. López De Luise)
Presentar los fundamentos de las Redes Neuronales ysu aplicación desde la perspectiva del lenguaje Java.
•Terminología de la neurona•El modelo neuronal•Modelos y codificación de información•Algunas redes famosas•Librerías open source
Por qué RN?1958 Surge con F. Rosenblat: Perceptrón 1969 M. Minsky y S. Papert: limitaciones del Perceptrón1982 J. Hopfield: descripción matemática del modelo1985 American Institute of Physics: annual meeting of NN1987 IEEE: First International Conference on NN 1990 US Dep. of Defense: Small Business Innovation Research Pgm2001 IEEE: Neural Networks Society 2003 IEEE: Neural Networks local Chapter 2005 Soft-computing (CIS)
Precisión menor al 100%Cantidad de datos para entrenarEs un arte?
algunos prejuicios
M. D. López De Luise
0
2
Ef(E) S
dendritassoma
axón>??
neuronas post-sinápticas
neuronapre-sináptica
M. D. López De Luise
1M. D. López De Luise
2
Va’±Vi
Potencial post-sináptico de la neurona i
Estimulación desde la neurona j=1
potencial excitatorioacumulado
?
potencial de acción
estimulación en t=1estimulación en t=2
ui(t)
ureposo
t1(1)
ei1
ei2ei3
t2(1) t1
(2)t2(2)
Va±Ve
M. D. López De Luise
5
ui(t)
ureposo
t1(1)
?ei2
t2(1) t1
(2)t2(2)
j=1
j=2i=1
neuronaspresinápticas
jneuronas
possinápticasi
t2(1)
t1(1)
ui(t) ei1(t – t1(1)) + ei2(t – t2
(1)) +...ureposo= +
ei1
potencial de acción
ei1(t)ei2(t)
ui(t)= urep+Sf[ei1(t – t1(f)) + ei2(t – t2
(f)) +...]
secuencia f=1,2,3,...
ui(t)= urep+ Sj Sf eij(t – tj(f))
j=1
j=2
j=3
i=1
i=2
i=3
i=4
Potencial de una red neuronal
M. D. López De Luise
3
ui(t)
ureposo
t1(1)
?ei2
ei3
t2(1) t1
(2)t2(2)
ei1
ui(t)= urep+ Sj Sf eij(t – tj(f))
^? (t – ti)
ti
instante de generación delúltimo potencial de acción
^? (t – ti) +
sii ui(t)
dui(t)dt
>0
>= ?
ti=max{ti(f)| ti
(f)<t}
: limitaciones delmodelo
No todos los potenciales postsinápticos tienen igual forma.
Simplificaciones realizadas con este modelo
No es verdad que la dinámica de una neurona i dependappalmente del momento del último disparo.
Limitaciones provocadas
No modeliza la adaptación celular hasta el estado de régimen
M. D. López De Luise
1
No modeliza la dependencia del potencial con el estado
A
B
No modeliza la dependencia del estado interno de la neuronaC
No modeliza la dependencia de la ubicaciónD
A
B
pre-sináptico
Avg. rate
Vs
Spikes (pulsos)
?=nsp(T)
THz
M. D. López De Luise
0
3
Avg
sobre tiempo
sobre muestreos repetidossobre poblaciones de neuronas
Codificación de rates
M. D. López De Luise
0
promedio temporal
El más común ?=nsp(T)
T
Hz
vmax
V=g(I/0)M. D. López De Luise
2
sistema sensorial: mayor presión sobre la piel=> más pulsossistema motor: más pulsos => mayor fuerza del músculo
adecuado p/señales estacionarias o de lento cambio
problemas: •hay actividades que rondan los 14 ms y no son bien modeladas así•esto no es bueno para señales no estacionarias (mayoría en el mundo real)•una salida neuronal no depende de una simple entrada•no representa las saturaciones (límites físicos en la reacción)
(hay una curva de ganancia o función de transferencia)
promedio sobre repeticiones
?(t)=1? t
nk(t, t + ? t)K
?(t)
? t
1°2°3°...
señalcant. señales en el lapso
lapso cantidad de repeticiones
PSTH
M. D. López De Luise
2
aplicable en señales estacionarias o norepresenta la decodificación de una red de neuronas y no a una sola
promedio sobre varias neuronas
m... n...
A(t)=1
? tnact(t, t + ? t)
N
1? t N
?t+? t
tSj Sfd (t – tj
(f)) dt
tamaño de la población de neuronas receptoras
cant de pulsos recibidos de todas las neuronas de la capa previa en ese lapso
modeliza cambios en señales cambiantes
problema potencial: es poco real que las neuronas sean idénticas
problema potencial: es poco real que las neuronas estén idénticamente interconectadasM. D. López De Luise
0
Codificación de spikesmomento del primer pulso
estímulo
spike
estímulo
M. D. López De Luise
0
neurona 1neurona 2neurona 3...
ej. retina
fase
estímulo
estímulo
M. D. López De Luise
0
ej. hipocampo
4
correlaciones y sincronización
simultaneidad de los spikes
M. D. López De Luise
0
correlación invertida
estímulo
M. D. López De Luise
0
ej. córtex visual
reconstrucción de estímulo s(t)
F={t(1), t(2),...,t(f) ,...,t(n)} temporalidad de los pulsos
feedfack conexión entre dos capas consecutivasconexión entre neuronas de una misma capa
crit
erio
s
Entrada: binariaTipo: feedforwardCapas: 1 de entrada + 1 de salidaAprendizaje: supervisadoAlgoritmo aprendizaje: HebbianoAplicación: clasificación, AND, ORFn Activación: hard limiter
PerceptrónF. Rosemblatt - 1958
f f f
entrada binaria
salida
aprendizaje
M. D. López De Luise
1
wij=xi.?(t)
Entrada: binariaTipo: feedforwardCapas: 1 de entrada + 1 de salida + n ocultasFn Activación: hard limiter o sigmoidAprendizaje: supervisadoAlgoritmo aprendizaje: delta learningAplicación: op. lógicas complejas, clasificac.
Perceptrón multicapaM. Minski & S.Papert - 1969
f f f
ff
entrada binaria
salida
aprendizaje
f ff
M. D. López De Luise
0
wij=xi.(s– s)
5
Entrada: binariaTipo: feedforwardCapas: 1 de entrada + 1 de salida + n ocultasFn Activación: sigmoidAprendizaje: supervisadoAlgoritmo aprendizaje: backpropagationAplicación: op. lógicas complejas, clasificación,análisis de voz
Entrada: binariaTipo: feedfackCapas: matricialFn Activación: hard limiter/signumAprendizaje: no supervisadoAlgoritmo aprendizaje: simulated annealingAplicación: asociación de patrones,
BasicNeuron: implementa una neuronaBasicNeuronFactory: generador de BasicNeurons
HypTangentNeuron: neurona con fn activación = tg hiperbólicaHypTangentNeuronFactory: generador de BasicNeurons
InputNeuron: implementa una input neuron
NeuronFactory: generador de Neurons
FeedForwardNet: implementa una red feedforwardFeedForwardNetBP: implementa una red con backpropagationFeedForwardNetSCG:implementa una red con Scaled Conjugated Gradient
M. D. López De Luise
0
implementa una interface observable
implementa una sesión de training
M. D. López De Luise
0
Dep. Computer ScienceConsiste en un conjunto compacto de clases (sólo 11 en total)