Introducción La arquitectura de la red Implementación Resultados Conclusiones Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos: Skynet Reloaded ...decided our fate in a microsecond... P. García H. Rajchert I. Scena Sistemas de Inteligencia Artificial Instituto Tecnológico de Buenos Aires 4 de junio de 2008 Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
22
Embed
Uso de una red neuronal multicapa para el reconocimiento ...subversion.assembla.com/svn/ia-tp2/presentacion/presentacion.pdf · Introducción La arquitectura de la red Implementación
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Uso de una red neuronal multicapa para elreconocimiento de caracteres griegos:
Skynet Reloaded...decided our fate in a microsecond...
P. García H. Rajchert I. Scena
Sistemas de Inteligencia ArtificialInstituto Tecnológico de Buenos Aires
4 de junio de 2008
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Introducción
Se propone:◮ Diseño e implementación de una red neuronal multicapa
con aprendizaje supervisado.◮ Resolución de un problema particular haciendo uso de la
red neuronal (OCR de alfabeto griego mayúscula).
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
La arquitectura de la red
◮ Alfabeto de 24 letras.◮ Tamaño de las imágenes: 16x16 pixeles, 256 pixeles en
total.◮ Capa de entrada: 256 neuronas, una por pixel.◮ Capa de salida: 24 neuronas, una por letra.◮ Capas ocultas: se utilizan 1 y 2.◮ Todas las neuronas están conectadas con las de la capa
superior.
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Funciones de activación
Se utilizan la tangente hiperbólica y la exponencial . Susvalores límite son los siguientes:
◮ Tangente hiperbólica: -1 y 1◮ Exponencial: 0 y 1
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Preprocesamiento
◮ Se pasan las imágenes de PNG a un formato reconocidopor Octave.
◮ Octave las importa como una matriz con 2 valoresposibles por cada pixel.
◮ Se mapean estos valores a -1 y 1, evitando utilizar el valor0.
◮ Para construir los vectores de salida se utilizan los valoreslímite de la función de activación elegida.
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Preprocesamiento
◮ Se crean patrones adicionales con ruido para que la redcuente con mayor cantidad y variedad.
◮ Para hacerlo se generan copias alteradas de las matricesde Octave que representan a los caracteres originales.
◮ Se generan también patrones con ruido para probar lacapacidad de generalización .
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Postprocesamiento
Para conocer la respuesta de la red basta con tomar el caractercorrespondiente a la neurona de salida con valor máximo .
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Mejoras a BackpropagationSe implementan dos mejoras al algoritmo clásico deBackpropagation:
◮ Adaptative Learning Rate◮ Momentum
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Mejoras a Backpropagation
Adaptative Learning RateAdapta el parámetro η según la evolución del error en elaprendizaje. Si el error disminuye consistentemente, se lesuma a. Cuando el error aumenta, se le resta bη.
∆η =
+a si ∆E < 0 consistentemente−bη si ∆E > 00 en otro caso
(1)
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Mejoras a Backpropagation
MomentumLa actualización de pesos toma en cuenta el valor del cambioproducido en la época anterior.
◮ Suaviza las correcciones bruscas de pesos (oscilaciones).◮ Puede no acelerar la convergencia, depende del problema.
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Inicialización
Los valores de los pesos se inicializan con valores dentro delintervalo (−0,05, 0,05). Esto evita la saturación inmediata, noentorpeciendo el aprendizaje.
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Configuración general
◮ Criterio de parada: error cuadrático medio acumulado enuna época, 0.02.
◮ Función de activación: tangente hiperbólica.◮ Learning rate adaptativo con ηini = 0,02.
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Exponencial vs Tangente hiperbólica
◮ Única capa intermedia de 24 neuronas.◮ 100 patrones de entrenamiento (24 sin ruido + 76 con
ruido al 3 %).◮ 250 patrones de testeo.
A continuación se comparan ambas funciones de activación.
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones
Diferentes arquitecturas de red
◮ Criterio de parada: error cuadrático medio acumulado enuna época, 0.02.
◮ Función de activación: tangente hiperbólica.◮ Learning rate adaptativo con ηini = 0,02.◮ Patrones de testeo al 20 % de ruido.◮ 24 neuronas en la capa intermedia parecen ser óptimas.
Uso de una red neuronal multicapa para el reconocimiento de caracteres griegos ITBA
Introducción La arquitectura de la red Implementación Resultados Conclusiones