Redes Neuronales Parte III€œSe denomina Arquitectura a la topología, estructura o patrón de conexionado de una red Neuronal”. En las Redes Neuronales Arti/iciales, los nodos

Facultad de Ciencias Exactas y Tecnología

Universidad Nacional de Tucumán Mg. Ing. Gustavo E. Juárez

Redes Neuronales

Parte III

Introducción. De/iniciones. Topologías típicas. Redes Supervisadas. Modelo

Backpropagation – Redes No Supervisadas – Modelo de Kohonen –

ImplementaciónenMatlabmedianteToolkitsobreRedesNeuronales.ANFIS.

UNIDAD TEMÁTICA : REDES NEURONALES

RED NEURONAL ARTIFICIAL ARQUITECTURA

“SedenominaArquitecturaalatopología,estructuraopatrón

deconexionadodeunaredNeuronal”.

EnlasRedesNeuronalesArti/iciales,losnodosseconectanpormediodesinapsis,las

cualesdeterminanelcomportamientodelaRed.

ARQUITECTURA DE UNA RED NEURONAL

DEFINICIONES

“ElconjuntodeunaomascapasconstituyelaRedNeuronal”

Las sinapsis son direccionales, ya que la información va desde una neurona pre

sinápticaaotrapostsinaptica.

Las neuronas suelen organizarse en grupos denominados Capas, en donde las

neuronassuelenserdelmismotipo.

ARQUITECTURA DE UNA RED NEURONAL

DEFINICIONES

Laorganizaciónydisposicióndelasneuronasdentrodeunaredneuronal

sedenominatopología,yvienedadapor:

•  Elnúmerodecapas:monocapaomulticapa.

•  Lacantidaddeneuronasporcapa:unaomas.

•  elgradodeconectividad:realimentada,unidireccional,

•  Eltipodeconexiónentreneuronas:exceitatoriaoinhibitoria.

ARQUITECTURA DE UNA RED NEURONAL

CARACTERÍSTICAS

En general podemos encontrar tres tipos de neuronas

arti/iciales,dondecadaunadelascualestienesucontraparte

enelsistemanervioso:

1.  Las que reciben información directamente desde el

exterior, a las cuales se las denomina neuronas de

entrada.

2.  Las que reciben información desde otras neuronas

arti/iciales, a las cuales se las denomina neuronas

ocultas. Es en estas neuronas, en particular en sus

sinapsis, donde se realiza la representación de la

informaciónalmacenada.

3.  Las que reciben la información procesada y las

devuelvenalexterior.Aestasneuronasselasdenomina

neuronasdesalida.

ARQUITECTURA DE UNA RED NEURONAL

Lasredesneuronasarti/icialesposeenunaestructuracomolasiguiente:

ARQUITECTURA DE UNA RED NEURONAL

Lasredesneuronasarti/iciales,setipi/icanen:

1.   RedesNeuronalesMonocapas:eslaarquitecturamassencillayaquesetieneunacapadeneuronasqueproyectanlasentradasaunacapade

neuronasdesalidadondeserealizanloscalculos.

TIPIFICACIÓN

2.  Redes Neuronales Multicapas: es la generalización de la anterior,existiendounconjuntodecapasintermediasentrelaentradaylasalida

(capasocultas).Puedeestartotaloparcialmenteconectada.

TIPIFICACIÓN

TIPIFICACIÓN

RED NEURONAL ARTIFICIAL APRENDIZAJE

Durante la operatoria de una red neuronal podemos distinguir dos fases o

modosdeoperación:

OPERACIONES CON REDES NEURONALES

Para poder aprender, las redes neuronales se sirven de un algoritmo de

aprendizaje,elcuales:

“Procesoporelqueseproduceelajustedeparametroslibresdelared

apartirdeestimulacionporelentornoquerodeaalared”

El tipo de aprendizaje vendra determinado por la forma en la que dichos

parametrossonadaptados(seleccionarelconjuntodepesossinapticosque

lepermitaalaredrealizarcorrectamenteeltipodeprocesamientodeseado.

APRENDIZAJE

Sidenominamoswij(t)alpesoqueconecta laneuronapresinaptica j con la

neurona postsinaptica i en la iteracion (t), el algoritmo de aprendizaje, en

funcionde las senalesque en el instante t llegan, procedentesdel entorno,

proporcionaraelvalorΔwij(t)quedalamodi/icacionquesedebeincorporar

endichopeso,elcualactualizadoquedaradelasiguienteforma:

Δwij(t+1)=wij(t)+Δwij(t)

APRENDIZAJE POR CONVERGENCIA

Apartirdelade/iniciondeltipo,numeroyarquitecturaneuronalqueseelija,

sedebencargarlospesossinapticosinicialesdelasneuronas.Dichosvalores

engeneralpuedensernulosoaleatorios.

El metodo convencional para el aprendizaje o entrenamiento de la red

neuronal es el que asigna valores a las neuronas, evalua resultados e

iterativamente reasigna valores.Esto ocurre hasta que la neurona alcanza el

rendimiento deseado.

Aleatorios Secuenciales DATOS PARA

ENTRENAMIENTO PUEDEN SER

APRENDIZAJE POR CONVERGENCIA

Se introducen valores de entrada a la red, y los valores de salida generados por esta se comparan con los valores de salida correctos. Si hay diferencias, se ajusta la red en consecuencia.

Se introducen valores de entrada, y lo único que se le indica a la red si las salidas que ha generado son correctas o incorrectas.

No existe ningún supervisor. De esta manera lo único que puede hacer la red es reconocer patrones en los datos de entrada y crear categorías a partir de estos patrones.

Existen en la red los dos tipos de aprendizaje básicos, supervisado y auto-organizado, normalmente en distintas capas de neuronas.

Aprendizaje de refuerzo

Aprendizaje Supervisado

Aprendizaje No

Supervisado

Aprendizaje Hibrido

APRENDIZAJE. TIPIFICACION

Una vez que el sistema ha sido entrenado, el modulo de aprendizaje se

desconecta,por loque lospesosy la estructurade la redneuronalquedan

/ijos,encontrándoselaredneuronaldispuestaparaprocesarlosdatos.

EJECUCION - ESTABILIDAD

TIPIFICACIÓN DE MODELOS DE APRENDIZAJE

RED NEURONAL ARTIFICIAL TIPIFICACION

Redes de Hopfield (Supervisado-Unidireccional)

Red recurrente para el modelado de memorias asociativas.

Se crean atractores que constituyen la memoria almacenada y a los cuales se evoluciona a partir de un cierto patrón inicial

Perceptrón Multicapa (Supervisado-Unidireccional)

Red neuronal con procesamiento unidireccional de la información del tipo “Feed-Forward” con procesamiento hacia adelante

Se entrenan a través de ejemplos, en un proceso de minimización del error entre las entradas y las salidas

ENTRADA

SALIDA

REDES NEURONALES TRADICIONALES

Las redes neuronales con conexión hacia delante (redes feedforward)

poseen conexiones entre las distintas neuronas de la red con un único

sentido(desdelaentradadelaredhacialasalidadelamisma).

REDES FEEDFORWARD

Una combinación de las dos arquitecturasmásutilizadas:•  Redes multicapa tipo perceptrón pero

entrenadascomoredesrecurrentes.

•  Di/ícilesdeentrenar:muylentas

•  Comportamiento similar al del cerebrohumano.Informacióndistribuida.

•  Varios récords en reconocimiento depatrones, similares omejores que los dehumanos.

REDES NEURONALES PROFUNDAS

(DEEP BELIEF NEURONAL NETWORKS)

Claveenelresurgimientodelasredesneuronales.

1974Primeradescripcióndelalgoritmo fuedadaporWerbos. Generalizacióndel

algoritmo de Widrow-Hoff para redes multicapa con funciones de

transferenciano-linealesydiferenciables.

1989 Hornik,StinchcombeyWhitedesarrollaronunaredneuronalconunacapa

desigmoidesescapazdeaproximarcualquierfunciónconunnúmero/inito

dediscontinuidades.Propiedaddelageneralización.

REDES BACKPROPAGATION

•  Funciónacotada,monótonacrecienteydiferenciable.

•  SonRedesdetipoFeedforward.

•  Dedoscapas.

a

y

RED PERCEPTRON MULTICAPA (MLP)

CARACTERISTICAS

Descripcióndelproceso:

•  Trasinicializarlospesosdeformaaleatoriayconvalorespequeños,seleccionamos

elprimerpardeentrenamiento.

•  Calculamoslasalidadelared

•  Calculamosladiferenciaentrelasalidarealdelaredylasalidadeseada,conloque

obtenemoselvectordeerror

•  Ajustamoslospesosdelareddeformaqueseminimiceelerror

•  Repetimoslostrespasosanterioresparacadapardeentrenamientohastaqueel

errorparatodoslosconjuntosdeentrenamientoseaaceptable.

ALGORITMO BACKPROPAGATION

Auto-organizativas:duranteelprocesodeaprendizajelareddebedescubrirporsimisma

regularidadesocategorías=>lareddebeautoorganizarseenfuncióndelasseñalesprocedentes

delentorno.

MapadeRasgosAutoorganizados,SOM(Kohonen,80)

Características:

•  Redcompetitiva

•  Arquitecturaunidireccionaldedoscapas:

•  Capadeentrada:mneuronasunaporcadavectordeentrada.

•  Capasegundaserealizaelprocesamiento,formandoelmapaderasgos.TienenxXny

neuronasoperandoenparalelo.

•  Todaslasneuronasdeentradaestánconectadasalasneuronasdelasegundacapa,atravésdelospesoswij

REDES NEURONALES NO SUPERVISADAS

•  Cadaneurona(i,j)calculalasimilitudentreelvectordeentradasysuvectordepesos.

•  Vencelaneuronacuyovectordepesosesmássimilaralvectordeentrada.

•  Cadaneuronasirvaparadetectaralgunacaracterísticadelvectordeentrada.

•  Funcióndevecindad:

relaciónentreneuronaspróximasenelmapa.

REDES NEURONALES NO SUPERVISADAS

Aprendizaje:•  Inicializacióndelospesoswij•  Presentacióndelasentradasx(t)•  Cadaneuronacalcula,lasimilitudentresuvectordepesoswijyelvectordeentradax,usandoladistanciaEuclídeana

•  Determinacióndelaneuronaganadora:

•  Actualizacióndelospesosdelaneuronaganadoraysusvecinas

•  Lasdemásneuronasnoactualizansupeso•  Sisehaalcanzadoelnúmerodeiteracionesparar,sinovolveralpaso2.

REDES NEURONALES NO SUPERVISADAS

El proceso de aprendizaje se puede dividir en tres grandes grupos de acuerdo a suscaracterísticas:

•  Aprendizajesupervisado.Sepresentaalaredunconjuntodepatronesdeentradajunto

conlasalidaesperada.Lospesossevanmodi/icandodemaneraproporcionalalerrorquese

produceentrelasalidarealdelaredylasalidaesperada.

•  Aprendizajenosupervisado.Sepresentaalaredunconjuntodepatronesdeentrada.No

hay informacióndisponible sobre la salida esperada. El proceso de entrenamiento en este

casodeberáajustarsuspesosenbasealacorrelaciónexistenteentrelosdatosdeentrada.

•  Aprendizaje por refuerzo. Este tipo de aprendizaje se ubica entre medio de los dos

anteriores.Selepresentaalaredunconjuntodepatronesdeentradayseleindicaalaredsi

lasalidaobtenidaesonocorrecta.

REDES FEEDFORWARD

RED NEURONAL ARTIFICIAL CASOS DE ESTUDIO

Geoffrey Hinton http://www.cs.toronto.edu/~hinton/

RECONOCIMIENTO DE DÍGITOS

Libros

Redes Neuronales y Sistemas Difusos / Bonifacio Martin del Brío y Alfredo Sanz Molina.

Alfa Omega – Rama. Colombia/c.2005

REFERENCIAS

Referencias