Benemérita Universidad Autónoma de Puebla Facultad de Ciencias de la Computación 3 rd International Symposium on Language & Knowledge Engineering Relación contextual de palabras en libros de Shakespeare usando mapas auto-organizados Autores: Luis Alfredo Moctezuma Jessica Lopez Caleb Jimenez Maya Carrillo Luis Colmenares J. Guadalupe Ramos Octubre 2015
37
Embed
Relación contextual de palabras en libros de Shakespeare usando mapas autoorganizados
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Benemérita Universidad Autónoma de Puebla
Facultad de Ciencias de la Computación
3rd International Symposium on Language & Knowledge Engineering
Relación contextual de palabras en libros de Shakespeare usando mapas
auto-organizados
Autores:Luis Alfredo Moctezuma
Jessica LopezCaleb JimenezMaya Carrillo
Luis ColmenaresJ. Guadalupe Ramos
Octubre 2015
ÍNDICE
Introducción
Preprocesamiento
Representación vectorial
Mapas auto-organizados
Resultados
Conclusiones
INTRODUCCIÓNEl procesamiento de lenguaje natural (PLN) se ocupa del reconocimiento y utilización de la información expresada en lenguaje humano para ser empleada en sistemas computacionales.
Generalmente se consideran tres niveles de análisis: Léxico Sintáctico Semántico
INTRODUCCIÓNEs posible distinguir entre significado independiente y significado dependiente del contexto. En este trabajo se intenta capturar el significado de la palabra en función de su contexto(pragmática).
Pragmática:
Según la RAE es una disciplina que estudia el lenguaje en su relación con los usuarios y las circunstancias de la comunicación.
Es una disciplina que estudia el lenguaje en relación al contexto donde se desarrolla la idea.
INTRODUCCIÓNEs posible distinguir entre significado independiente y significado dependiente del contexto. En este trabajo se intenta capturar el significado de la palabra en función de su contexto(pragmática).
Pragmática:
Según la RAE es una disciplina que estudia el lenguaje en su relación con los usuarios y las circunstancias de la comunicación.
Es una disciplina que estudia el lenguaje en relación al contexto donde se desarrolla la idea.
INTRODUCCIÓNObras analizadas de Shakespeare:
1. Macbeth2. Julio Cesar3. Hamlet
PREPROCESAMIENTOLas obras de Shakespeare fueron preprocesadas de acuerdo a los siguientes pasos:
Eliminación de marcas de puntuación y caracteres especiales
Conversión de texto a minúsculas Eliminación de palabras vacías Eliminación de palabras con una frecuencia
menor a 3
PREPROCESAMIENTO
Palabras analizadas: 67,805
Vocabulario después del preprocesamiento: 13,118 palabras
REPRESENTACIÓN VECTORIAL Para una palabra a que denominaremos clave,
el contexto fue capturado considerando la palabra que la precede y sucede (“predecesor”, “clave”, “sucesor”).
Cada palabra fue representada con una sucesión de 24 dígitos binarios únicos.
REPRESENTACIÓN VECTORIAL(fragmento tomado de Macbeth)A divinely appointed monarch has been assassinated, and it is a calamity of such epic proportion that even the workings of nature are disrupted.
divinely appointed monarch assassinated calamity epic proportion workings nature disrupted.
divinely appointed monarchappointed monarch assassinatedmonarch assassinated calamity
REPRESENTACIÓN VECTORIAL(fragmento tomado de Macbeth)A divinely appointed monarch has been assassinated, and it is a calamity of such epic proportion that even the workings of nature are disrupted.
divinely appointed monarch assassinated calamity epic proportion workings nature disrupted.
divinely appointed monarchappointed monarch assassinatedmonarch assassinated calamity
REPRESENTACIÓN VECTORIAL(fragmento tomado de Macbeth)A divinely appointed monarch has been assassinated, and it is a calamity of such epic proportion that even the workings of nature are disrupted.
divinely appointed monarch assassinated calamity epic proportion workings nature disrupted.
divinely appointed monarchappointed monarch assassinatedmonarch assassinated calamity
REPRESENTACIÓN VECTORIAL(fragmento tomado de Macbeth)A divinely appointed monarch has been assassinated, and it is a calamity of such epic proportion that even the workings of nature are disrupted.
divinely appointed monarch assassinated calamity epic proportion workings nature disrupted.
divinely appointed monarchappointed monarch assassinatedmonarch assassinated calamity
REPRESENTACIÓN VECTORIAL(fragmento tomado de Macbeth)A divinely appointed monarch has been assassinated, and it is a calamity of such epic proportion that even the workings of nature are disrupted.
divinely appointed monarch assassinated calamity epic proportion workings nature disrupted.
divinely appointed monarchappointed monarch assassinatedmonarch assassinated calamity
REPRESENTACIÓN VECTORIAL Para capturar el contexto se crearon vectores
de dimensión 72.
En los primeros 24 dígitos se almaceno la suma vectorial de todas las de las palabras que precedían a la palabra clave
En los últimos 24 dígitos se almaceno la suma vectorial de todas las palabras que sucedían a la palabra clave
Los 24 dígitos intermedios representaron las diferentes palabras del vocabulario
REPRESENTACIÓN VECTORIALPredeceso
rClave Sucesor
reason beare heartroome beare reason
Predecesor
Clave Sucesor
Palabra
00010000 01101000
00010100
beare
00110001 01101000
00010000
beareRepresentación de la palabra Palabra 01000001 11010001
00100100beare
Una vez obtenidos los vectores de contexto para las palabras del vocabulario, estos fueron la entrada del mapa auto-organizado.
ePaso 5: Cada nodo en el radio de la vecindad ajusta su peso para parecerse al vector de entrenamiento, los nodos vecinos se ven mas modificados
heart
power
honor
ghost
MAPAS AUTO-ORGANIZADOS
lord man
crime peopl
ePaso 6: Repetir desde el paso 2 (el numero de veces que se considere necesario).
Parar cuando el radio R
heart
power
honor
ghost
MAPAS AUTO-ORGANIZADOS
Paso 1-5:
lord man
crime
people
heart
power
honor
ghost
MAPAS AUTO-ORGANIZADOS
Paso 1-5:
lord man
crime
people
heart
power
honor
ghost
MAPAS AUTO-ORGANIZADOS
Paso 1-5:
lordman
crime
people
heart
power
honor
ghost
MAPAS AUTO-ORGANIZADOS
Paso 1-5:
Parar cuando el radio R
lordman
crime
people
heart
power
honor
ghost
MAPAS AUTO-ORGANIZADOS
lordman
crime
people
heart
power
honor
ghost
RESULTADOSSe obtuvo que la similitud entre palabras puede definirse indirectamente, capturando su significado en función del contexto en el que aparecen.
AGRUPAMIENTO DE VECTORES DE CONTEXTO EN LA OBRA MACBETH:
AGRUPAMIENTO DE VECTORES DE CONTEXTO EN LA OBRA JULIO CESAR
AGRUPAMIENTO DE VECTORES DE CONTEXTO EN LA OBRA HAMLET:
CONCLUSIONESTemática en las obras de Shakespeare: El rol de la humanidad en la sociedad, guerra,
lealtad, muerte, entre otras.
Por los resultados obtenidos en este trabajo, se puede ver que se puede aplicar esta misma técnica a otros autores y ver las diferentes temáticas en cada uno de ellos.
CONCLUSIONESLas aplicaciones:
Atribución de autoría Busca de predadores en chat’s