PERCEPTRON PERCEPTRON NESTOR A. ARIAS H. NESTOR A. ARIAS H. Universidad de Pamplona Universidad de Pamplona Departamento de Física y Geología Departamento de Física y Geología Maestría en Física Maestría en Física
PERCEPTRON PERCEPTRON
NESTOR A. ARIAS H.NESTOR A. ARIAS H.
Universidad de PamplonaUniversidad de PamplonaDepartamento de Física y GeologíaDepartamento de Física y Geología
Maestría en FísicaMaestría en Física
Néstor A. Arias H. Universidad de Pamplona 2
CONTENIDOCONTENIDOCONTENIDOCONTENIDO
1. PERCEPTRON1. PERCEPTRON1. PERCEPTRON1. PERCEPTRON
Fue el primer módelo de red neuronal artificial desarrollado por Rosemblatt en 1958.
Desperto enorme interés en los años 60,debido a su capacidad para aprender a reconocer patrones sencillos.
1w
2w
a
1p
2p
2
1i i
i
a f w p b
2p
1p
11 22a f w w bp p 1
22
21p p
w b
w w
( ) 0f n
f n
1 2 210 w w bp p
1
1
Es necesario Es necesario modificar los modificar los pesos para pesos para resolver el resolver el problema.problema.
1b
3Néstor A. Arias H. Universidad de
Pamplona
La separabilidad lineal limita a las redes con una capa y una neurona a la resolucion de problemas en los cuales el conjunto de puntos (correspondientes a los valores de entrada) sean separables geometricamente.
Como el perceptron consta de solo una neurona, tiene una capacidad bastante limitada. Este modelos solo es capaz de discriminar patrones muy sencillos, linealmente separables.
El caso mas conocido es la imposibilidad del perceptron de representar la función OR-EXCLUSIVA(XOR)OR-EXCLUSIVA(XOR)
P1 P2 a
1 1 1
1 0 0
0 1 0
0 0 1
2p
1p1
1
0
No existe una No existe una recta que recta que
separe las dos separe las dos clases.clases.
No existe una No existe una recta que recta que
separe las dos separe las dos clases.clases.
La red Perceptron La red Perceptron no soluciona no soluciona problemas problemas linealmente linealmente separables (XOR)separables (XOR) 4
Néstor A. Arias H. Universidad de Pamplona
1w
2w
Nw
y1x
2x
Nx
Red de dos entradas:Red de dos entradas: La separacion se llava a cabo mediante una linea recta.linea recta.
Red tres entradas:Red tres entradas: La separación se realiza por medio de un plano un plano en el espacio tridimensional.
Red de N entradas:Red de N entradas: La separación se realiza por un hiperplano un hiperplano en el espacio N-dimensional.
ESPACIO DE CLASES O DE ACARACTERISTICASESPACIO DE CLASES O DE ACARACTERISTICAS
f n
5Néstor A. Arias H. Universidad de
Pamplona
1.1 Regla de Aprendizaje del 1.1 Regla de Aprendizaje del PerceptronPerceptron
1.1 Regla de Aprendizaje del 1.1 Regla de Aprendizaje del PerceptronPerceptron
El algoritmo de aprendizaje del Perceptron es de tipo supervisado.
El cual requiere que sus resultados sean evaluados y se realicen las oportunas modificaciones si fuera necesario.
El algoritmo de convergencia del Perceptron fue desarrollado por Rosemblat.
Los valores de los pesos pueden determinar el funcionamiento de la red; estos valores se pueden fijar o adaptar utilizando algoritmos de entrenamiento de la red.
Veremos los requisitos que deben cumplirse para que una red perceptron sea entrenada para comportarse como las compuestasOR y AND
6Néstor A. Arias H. Universidad de
Pamplona
P1 P2 a
1 1 1
1 0 1
0 1 1
0 0 0
2p
1p1
1
0
2
1i i
i
a f w p b
11 22a f w w bp p
1w
2w
a
1p
2p
f n
1b
P1 P2 a
1 1 1
1 0 0
0 1 0
0 0 0
2p
1p1
1
0
OROR
ANDAND
1 21 2 0p pw w b
1 21 2 0p pw w b
1 21 2 0p pw w b
1a 0a 1a
7Néstor A. Arias H. Universidad de
Pamplona
ALGORITMO DE APRENDIZAJE POR CORRECCION DE ERRORALGORITMO DE APRENDIZAJE POR CORRECCION DE ERROR
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
NONO
FINFIN
SISI
Inicialmente se asigna Inicialmente se asigna valores aleatoriamente.valores aleatoriamente.
11 12 13 14
21 22 23 24
p p p p
p p p p
1 2 3 4d d d d
2
1i i
i
a f w p b
1 ( )i i iw t w t d t a t p t
e d t a t
FACTOR DE FACTOR DE GANANCIA O RATA GANANCIA O RATA
DE APRENDIZAJEDE APRENDIZAJE
8Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Se inicializan los pesos
1
2
1.50.51.5
bww
En forma matricial
1 2W b w w
1.5 0.5 1.5W
9Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Se van tomando uno a uno los cuatro patrones y se aplica el metodo.
0 0 1 1
0 1 0 1p
0 1 1 1d
P1 P2 a
1 1 1
1 0 1
0 1 1
0 0 0
Se presenta el primer parprimer par:
1
0
0
p
1
2
1
p p
p
0d
ENTRADAENTRADA
SALIDASALIDA
10Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
*n W p 1
1.5 0.5 1.5 0
0
n
1.5n
( * )a f W p
1a
Salida del primera entrada
11Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
1 ( )W t W t d t a t p t
1 2 [1.5 0.5 1.5] 1 (0 1) [1 0 0]b w w
1 2 [0.5 0.5 1.5]b w w
Tomaremos la rata de aprendizaje = 1
Nuevos pesos
12Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Se van tomando uno a uno los cuatro patrones y se aplica el metodo.
0 0 1 1
0 1 0 1p
0 1 1 1d
P1 P2 a
1 1 1
1 0 1
0 1 1
0 0 0
Se presenta el segundo parsegundo par:
1
0
1
p
1
2
1
p p
p
1d
ENTRADAENTRADA
SALIDASALIDA
13Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
*n W p 1
0.5 0.5 1.5 0
1
n
2n
( * )a f W p
1a
Salida del segunda entrada
14Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
1 ( )W t W t d t a t p t
1 2 [0.5 0.5 1.5] 1 (1 1) [1 0 1]b w w
1 2 [0.5 0.5 1.5]b w w
Tomaremos la rata de aprendizaje = 1
Nuevos pesos(los pesos no se modifican)
15Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Se van tomando uno a uno los cuatro patrones y se aplica el metodo.
0 0 1 1
0 1 0 1p
0 1 1 1d
P1 P2 a
1 1 1
1 0 1
0 1 1
0 0 0
Se presenta el tercer partercer par:
1
1
0
p
1
2
1
p p
p
1d
ENTRADAENTRADA
SALIDASALIDA
16Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
*n W p 1
0.5 0.5 1.5 1
0
n
1n
( * )a f W p
1a
Salida del tercera entrada
17Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
1 ( )W t W t d t a t p t
1 2 [0.5 0.5 1.5] 1 (1 1) [1 1 0]b w w
1 2 [0.5 0.5 1.5]b w w
Tomaremos la rata de aprendizaje = 1
Nuevos pesos (no se modifican los
pesos)
18Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Se van tomando uno a uno los cuatro patrones y se aplica el metodo.
0 0 1 1
0 1 0 1p
0 1 1 1d
P1 P2 a
1 1 1
1 0 1
0 1 1
0 0 0
Se presenta el cuarto parcuarto par:
1
1
1
p
1
2
1
p p
p
1d
ENTRADAENTRADA
SALIDASALIDA
19Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
*n W p 1
0.5 0.5 1.5 1
1
n
2.5n
( * )a f W p
1a
Salida del cuarta entrada
20Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
1 ( )W t W t d t a t p t
1 2 [1.5 0.5 1.5] 1 (0 1) [1 0 0]b w w
1 2 [0.5 0.5 1.5]b w w
Tomaremos la rata de aprendizaje = 1
Nuevos pesos
21Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Como existe un patron de entrada 00, Como existe un patron de entrada 00, para el cual el error no es cero.para el cual el error no es cero.
Por tanto, se realiza de nuevo.Por tanto, se realiza de nuevo.
Presentando nuevamente todos los Presentando nuevamente todos los ejemplos, hasta que todos presenten ejemplos, hasta que todos presenten error 0.error 0.
Es decir, se presentan los cuatro Es decir, se presentan los cuatro ejemplos anteriores.ejemplos anteriores.
22Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Se van tomando uno a uno los cuatro patrones y se aplica el metodo.
0 0 1 1
0 1 0 1p
0 1 1 1d
P1 P2 a
1 1 1
1 0 1
0 1 1
0 0 0
Se presenta el primer parprimer par:
1
0
0
p
1
2
1
p p
p
0d
ENTRADAENTRADA
SALIDASALIDA
23Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
*n W p 1
0.5 0.5 1.5 0
0
n
0.5n
( * )a f W p
1a
Salida de la primera entrada
24Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
1 ( )W t W t d t a t p t
1 2 [0.5 0.5 1.5] 1 (0 1) [1 0 0]b w w
1 2 [ 0.5 0.5 1.5]b w w
Tomaremos la rata de aprendizaje = 1
Nuevos pesos
25Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Se van tomando uno a uno los cuatro patrones y se aplica el metodo.
0 0 1 1
0 1 0 1p
0 1 1 1d
P1 P2 a
1 1 1
1 0 1
0 1 1
0 0 0
Se presenta el segundo parsegundo par:
1
0
1
p
1
2
1
p p
p
1d
ENTRADAENTRADA
SALIDASALIDA
26Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
*n W p 1
0.5 0.5 1.5 0
1
n
1n
( * )a f W p
1a
Salida de la segunda entrada
27Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
1 ( )W t W t d t a t p t
1 2 [ 0.5 0.5 1.5] 1 (1 1) [1 0 1]b w w
1 2 [ 0.5 0.5 1.5]b w w
Tomaremos la rata de aprendizaje = 1
Nuevos pesos (no se
modifican)28
Néstor A. Arias H. Universidad de Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Se van tomando uno a uno los cuatro patrones y se aplica el metodo.
0 0 1 1
0 1 0 1p
0 1 1 1d
P1 P2 a
1 1 1
1 0 1
0 1 1
0 0 0
Se presenta el tercer partercer par:
1
1
0
p
1
2
1
p p
p
1d
ENTRADAENTRADA
SALIDASALIDA
29Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
*n W p 1
0.5 0.5 1.5 1
0
n
0n
( * )a f W p
1a
Salida de la tercera entrada
1 0
1 0
1 1
n
a n
n
30Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
1 ( )W t W t d t a t p t
1 2 [ 0.5 0.5 1.5] 1 (1 1) [1 1 0]b w w
1 2 [ 0.5 0.5 1.5]b w w
Tomaremos la rata de aprendizaje = 1
Nuevos pesos (no se
modifican)31
Néstor A. Arias H. Universidad de Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Se van tomando uno a uno los cuatro patrones y se aplica el metodo.
0 0 1 1
0 1 0 1p
0 1 1 1d
P1 P2 a
1 1 1
1 0 1
0 1 1
0 0 0
Se presenta el cuarto parcuarto par:
1
1
1
p
1
2
1
p p
p
1d
ENTRADAENTRADA
SALIDASALIDA
32Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
*n W p 1
0.5 0.5 1.5 1
1
n
1.5n
( * )a f W p
1a
Salida de la cuarta entrada
33Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
1 ( )W t W t d t a t p t
1 2 [ 0.5 0.5 1.5] 1 (1 1) [1 1 1]b w w
1 2 [ 0.5 0.5 1.5]b w w
Tomaremos la rata de aprendizaje = 1
Nuevos pesos (no se
modifican)34
Néstor A. Arias H. Universidad de Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Como existe tadavia un patron de Como existe tadavia un patron de entrada 00, para el cual el error no es entrada 00, para el cual el error no es cero.cero.
Por tanto, se realiza de nuevo.Por tanto, se realiza de nuevo.
Presentando nuevamente todos Presentando nuevamente todos los ejemplos, hasta que todos los ejemplos, hasta que todos presenten error 0.presenten error 0.
Es decir, se presentan los Es decir, se presentan los cuatro ejemplos anteriores.cuatro ejemplos anteriores.
35Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Se van tomando uno a uno los cuatro patrones y se aplica el metodo.
0 0 1 1
0 1 0 1p
0 1 1 1d
P1 P2 a
1 1 1
1 0 1
0 1 1
0 0 0
Se presenta el primer parprimer par:
1
0
0
p
1
2
1
p p
p
0d
ENTRADAENTRADA
SALIDASALIDA
36Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
*n W p 1
0.5 0.5 1.5 0
0
n
0.5n
( * )a f W p
0a
Salida de la primera entrada
37Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
1 ( )W t W t d t a t p t
1 2 [0.5 0.5 1.5] 1 (0 0) [1 0 0]b w w
1 2 [ 0.5 0.5 1.5]b w w
Tomaremos la rata de aprendizaje = 1
Nuevos pesos(no se modifican
los pesos)38
Néstor A. Arias H. Universidad de Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Se van tomando uno a uno los cuatro patrones y se aplica el metodo.
0 0 1 1
0 1 0 1p
0 1 1 1d
P1 P2 a
1 1 1
1 0 1
0 1 1
0 0 0
Se presenta el segundo parsegundo par:
1
0
1
p
1
2
1
p p
p
1d
ENTRADAENTRADA
SALIDASALIDA
39Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
*n W p 1
0.5 0.5 1.5 0
1
n
1n
( * )a f W p
1a
Salida de la segunda entrada
40Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
1 ( )W t W t d t a t p t
1 2 [ 0.5 0.5 1.5] 1 (1 1) [1 0 1]b w w
1 2 [ 0.5 0.5 1.5]b w w
Tomaremos la rata de aprendizaje = 1
Nuevos pesos (no se
modifican)41
Néstor A. Arias H. Universidad de Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Se van tomando uno a uno los cuatro patrones y se aplica el metodo.
0 0 1 1
0 1 0 1p
0 1 1 1d
P1 P2 a
1 1 1
1 0 1
0 1 1
0 0 0
Se presenta el tercer partercer par:
1
1
0
p
1
2
1
p p
p
1d
ENTRADAENTRADA
SALIDASALIDA
42Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
*n W p 1
0.5 0.5 1.5 1
0
n
0n
( * )a f W p
1a
Salida de la tercera entrada
1 0
1 0
1 1
n
a n
n
43Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
1 ( )W t W t d t a t p t
1 2 [ 0.5 0.5 1.5] 1 (1 1) [1 1 0]b w w
1 2 [ 0.5 0.5 1.5]b w w
Tomaremos la rata de aprendizaje = 1
Nuevos pesos (no se
modifican)44
Néstor A. Arias H. Universidad de Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Se van tomando uno a uno los cuatro patrones y se aplica el metodo.
0 0 1 1
0 1 0 1p
0 1 1 1d
P1 P2 a
1 1 1
1 0 1
0 1 1
0 0 0
Se presenta el cuarto parcuarto par:
1
1
1
p
1
2
1
p p
p
1d
ENTRADAENTRADA
SALIDASALIDA
45Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
*n W p 1
0.5 0.5 1.5 1
1
n
1.5n
( * )a f W p
1a
Salida de la cuarta entrada
46Néstor A. Arias H. Universidad de
Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
1 ( )W t W t d t a t p t
1 2 [ 0.5 0.5 1.5] 1 (1 1) [1 1 1]b w w
1 2 [ 0.5 0.5 1.5]b w w
Tomaremos la rata de aprendizaje = 1
Nuevos pesos (no se
modifican)47
Néstor A. Arias H. Universidad de Pamplona
INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL
PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y
SALIDA DESEADA)SALIDA DESEADA)
CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL
ADAPTACION ADAPTACION DE PESOSDE PESOS
ErrorError==00
FINFIN
EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”
Como el error es cero en todos los ejemplos, entonces se finaliza el ciclo de entrenamiento.
( * )a f W pDonde,
1 2 [ 0.5 0.5 1.5]W b w w
Tenemos, una red perceptronperceptron de una neurona con función de transferencia “escalon bipolar” “escalon bipolar” que emula una compuerta OR. Donde el conocimiento está en W.W.
Tenemos, un red neuronal entrenada para una tarea especifica.
48Néstor A. Arias H. Universidad de
Pamplona
1.2 Solución al Problema de Separabilidad 1.2 Solución al Problema de Separabilidad lineallineal
1.2 Solución al Problema de Separabilidad 1.2 Solución al Problema de Separabilidad lineallineal
P1 P2 a
1 1 1
1 0 0
0 1 0
0 0 1
2p
1p1
1
0
La red Perceptron La red Perceptron no soluciona no soluciona problemas problemas linealmente linealmente separables (XOR)separables (XOR)
No existe No existe una recta una recta
que separe que separe las dos las dos clases.clases.
La solución La solución radica en radica en crear mas crear mas
de dos de dos regionesregiones
Region 1Region 1
Region 2Region 2
Cómo Cómo ??
En la compuerta XOREn la compuerta XOR
49Néstor A. Arias H. Universidad de
Pamplona
P1 P2 a
1 1 1
1 0 0
0 1 0
0 0 1
2p
1p1
1
0
Region Region 11
Region Region 22
Region Region 33
Region 1 y 3: Region 1 y 3: Pertenecen a una Pertenecen a una clase.clase.
Region 2 : Region 2 : Pertenecen a otra Pertenecen a otra clase.clase.
Las rectas Las rectas corresponden cada una corresponden cada una a una neuronala una neuronal
Una Una recta recta por por
NeuronNeuronaa
Cada Cada recta recta
separa separa dos dos
regionesregiones
Se Se necesita necesita una red una red
que que separa las separa las
dos dos clases.clases.
Hay Hay tres tres
regionregioneses
11
00
Es necesario otra Es necesario otra neuronaneurona 50
Néstor A. Arias H. Universidad de Pamplona
P1 P2 a
1 1 1
1 0 0
0 1 0
0 0 1
2p
1p1
1
0
Region 1Region 1
Region 1Region 1
Region 2
Region 2
Por tanto se ha de utilizar Por tanto se ha de utilizar una red neuronal de tres una red neuronal de tres neuronas.neuronas.
Dos que crean las dos Dos que crean las dos rectas en los lugares rectas en los lugares adecuados, para adecuados, para establecer tres establecer tres regiones. regiones.
Y otra neurona que Y otra neurona que configura dos zona configura dos zona de tres regiones.de tres regiones.
y1p
2p f n
f n
f n
51Néstor A. Arias H. Universidad de
Pamplona
2. PERCEPTRON MULTINIVEL2. PERCEPTRON MULTINIVEL2. PERCEPTRON MULTINIVEL2. PERCEPTRON MULTINIVELII11
II22
IInn
Nivel de Nivel de entradaentrada
Niveles Niveles ocultosocultos
Nivel de Nivel de salidasalida
OO11
OO22
OOnn
Un perceptron multinivel o multicapa es una red de tipo feedforward compuesta de varias capas de neuronas entre la entrada y la salida de la misma.
Esta red permite establecer regiones de decisión mucha mas complejas que las de dos semiplanos, como hacía el Perceptron de un solo nivel.
52Néstor A. Arias H. Universidad de
Pamplona
ESTRUCTURA
REGIONES DE
DECISION
PROBLEMA DE LA XOR
CLASES CON
REGIONES MEZCLADA
S
FORMA DE REGIONES
MAS GENERALES
MEDIO PLANO
LIMITADO POR UN
HIPERPLANO
REGIONES CERRADAS O CONVEXAS
ARBITRARIA COMPLEJIDAD LIMITADA
POR EL NUMERO DE NEURONAS
2 CAPAS2 CAPAS
3 CAPAS3 CAPAS
AA
AABB
BB
AA
AABB
BB
AA
AABB
BB
AABB
AABB
AABB
53Néstor A. Arias H. Universidad de
Pamplona