Introducción a las REDES NEURONALES · Definición de neurona artificial Memoria asociativa Redes cibernéticas I: Perceptrón simple Redes cibernéticas II: Perceptrón multicapa
Post on 13-May-2018
226 Views
Preview:
Transcript
Introducción a las
REDES NEURONALES
Javier García
GILAB - UdG
Definición de neurona artificial
Memoria asociativa
Redes cibernéticas I: Perceptrón simple
Redes cibernéticas II: Perceptrón multicapa
Aplicaciones
Sumario
Neurona real
Neurona artificial
x
0.1
1
0.9
2 1.1 0.2
Ejemplo
x 1. 08fx tanhx 0.7932
Memoria asociativa
Memoria asociativa
1
Conjunto de neuronas interconectadas que evolucionan en el tiempo
a partir de un estado inicial hasta estabilizarse en uno de los posibles
estados finales.
Ejemplo: 4 neuronas
Utilidad? Sí, para recordar de forma estable
4
2
3
Memoria asociativa
s1t Valor neurona 1 en el tiempo t
s2t Valor neurona 2 en el tiempo t
s3t Valor neurona 3 en el tiempo t
s4t Valor neurona 4 en el tiempo t
Evolución en el tiempo
s1t 1 f1,1s1t 1,2s2t 1,3s3t 1,4s4t
s2t 1 f2,1s1t 2,2s2t 2,3s3t 2,4s4t
s3t 1 f3,1s1t 3,2s2t 3,3s3t 3,4s4t
s4t 1 f4,1s1t 4,2s2t 4,3s3t 4,4s4t
i,j 1N
sisj
Patrón a ‘recordar’:
Memoria asociativa Ejemplo
1 1 1 1
1 1 1 1
1 1 1 1
1 1 1 1
s 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1
5
13
9
4
8
12
16 14 15
12 13
16 17
10 111
Patrón para almacenar en memoria
sTs 1
16
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
Memoria asociativa Ejemplo
5
Evolución (1 iteración)
s 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
s2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
fsT
Patrón inicial defectuoso
Patrón final almacenado
Capacidad de la memoria asociativa:
Con N neuronas podemos guardar N patrones.
Perceptrón simple
Perceptrón simple
Input Output
s1
s2
1
2
Perceptrón simple
s1
s2
1
2
3
4
ejemplo
i,p
j, i
sj,p
s f Flujo hacia adelante:
j,p
i 1,2,3,4
j 1,2
p 1, . . . ,Np
Perceptrón simple
Back propagation learning simplificación: 0
error 12
p1
Np
j1
N2
deseoj,p salidaj,p 2 1
2 p1
Np
j1
N2
j,p sj,p 2
error 12
p1
Np
j1
N2
f2
errorj,i
p
ff p
j,pi,p
f x 1 f2x j,p j,p sj,p 1 sj,p
2
cambio en pesos errorj,i
p
j,pi,p
Perceptrón simple
IDEA
-4
-4
-2
-2
0 00 2
4
10
20z
30
40
50
y2x
4
f x2 y2
f
x x0,y0
2x0
f
y x0,y0
2y0
x1 x0 2x0
y1 y0 2y0
x1 1 2x0
y1 1 2y0
xn 1 2nx0
yn 1 2ny0
0.1
1 0.2 0.8 0
Perceptrón multicapa
Perceptrón multicapa
s1
1
2
Capa de entrada Capa oculta Capa de salida
s f1 1 S f2s 2
S f2f1 1 2
error 12
p1
Np
j1
N2
deseoj,p salidaj,p 2
Learning rule
Minimizar:
Aplicaciones
Perceptrón multicapa
s1
1
2
Puerta XOR
Entradas Salidas deseadas
11 0
21 0s11 0
12 1
22 0s12 1
13 0
23 1
14 1
24 1s14 0
s13 1
23
s13
Input 2
Patrón 3
Output 1
Patrón 3
Notación
Código XOR
Perceptrón multicapa
s1
1
2
-1.0 -0.8 -0.6 -0.4 -0.2 0.2 0.4 0.6 0.8 1.0
-2
-1
1
2
x
y
Ecuación de tercer grado
Código Ecuación
x3 ax b 0
x3 1x 1 0, Solution is: 0.68233
x3 0.1x 0.8 0, Solution is: 0.96421
x3 0.1x 0.2 0, Solution is: 0.528
x3 0.6x 0.2 0, Solution is: 0.29189
x3 0.1x 0 0, Solution is: 0
x3 0.7x 1 0, Solution is: 0.77180
x3 0.1x 0.8 0, Solution is: 0.89243
x3 0.3x 0.7 0, Solution is: 0.77596
Testeo de generalización
Más aplicaciones
- Movimiento de robots
- Predicción de estructura secundaria de las proteínas
- Aprendizaje pronunciación humana
- Reconocimiento de: escritura escrita, caras, clientes, etc..
- Predicción de series temporales (Bolsa)
- Clusterización: Agrupar datos aprovechando relaciones
escondidas (difíciles de detectar por humano)
Más aplicaciones
Gracias por vuestra atención
top related