Ferramentas PLN Linguakit Introdução à linha de comandos Linux Linguagens de programação Introdução a Perl Tokenizador Iniciação à programação (em Humanidades) Pablo Gamallo Centro de Investigação em Tecnologias da Informação (CITIUS) Universidade de Santiago de Compostela Programa de Doutormento de Linguística Doutoramento Intro
83
Embed
Iniciação à programação (em Humanidades) Pablo …gramatica.usc.es/~gamallo/aulas/SeminarioLinguistica/traspas.pdf · Un lenguaje compilado traduce todo el programa fuente que
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Ferramentas PLNLinguakit
Introdução à linha de comandos LinuxLinguagens de programação
Introdução a PerlTokenizador
Iniciação à programação (em Humanidades)
Pablo Gamallo
Centro de Investigação em Tecnologias da Informação (CITIUS)Universidade de Santiago de Compostela
Programa de Doutormento de Linguística
Doutoramento Intro
Ferramentas PLNLinguakit
Introdução à linha de comandos LinuxLinguagens de programação
Introdução a PerlTokenizador
Objectivos
Aproximação ao ecossistema de programação emPLN.Primeiros passos na programação em linguagem descripts.
Doutoramento Intro
Ferramentas PLNLinguakit
Introdução à linha de comandos LinuxLinguagens de programação
Introdução a PerlTokenizador
Breve bibliografia
Levi Lúcio, Vasco Amaral (2001), Programação em PERL, FCA-Editora de Informática.
Hammond, Michael (2003), Programming for linguistics: Perl for language researchers, BlackwellPublishing.
Tanguy, Ludovic (2007), Perl pour les linguistes, Hermès - Lavoisier.http://perl.linguistes.free.fr/
- ls (lista os ficheiros e subdirectórios do directório actual)
- pwd (rota actual)
- mkdir (criar um subdirectório)
- cd (câmbio de directório)
- echo “olá” > prova.txt (criar um ficheiro de texto)
- cp, mv (copiar, mover e renomear ficheiros)
- rm (borrar ficheiros)
- cat (ler o conteúdo de um ou vários ficheiros de entrada)
- wc (conta linhas, palavras e caracteres dos ficheiros de entrada)
GNU/LINUXPrimeira práctica
- cria o subdirectório “corpus” (mkdir)
- coloca-te no subdirectório “corpus” (cd)
- cria nesse directório um ficheiro “prova.txt” que contenha o texto “isto é uma prova” (echo)
- copia o ficheiro “prova.txt” criando outro chamado “prova2.txt” (cp)
- renomea o ficheiro “prova.txt” como “prova1.txt” (mv)
- lê o conteúdo do ficheiro “prova1.txt” (cat, more)
- conta as linhas, palavras e caracteres de “prova1.txt” (wc)
- apaga o ficheiro “prova1.txt” (rm)
GNU/LINUXPrimeira práctica
Fai o mesmo utilizando ferramentas do sistema gráfico e editores de texto como
gedit e OpenOffice
- Para listar, mover-te na hierarquia de directórios e criar novos
subdirectórios, utiliza um navegador.
- Para criar novos ficheiros, utiliza o editor gedit.
- Para contar palavras e caracteres, utiliza OpenOffice.
GNU/LINUXSegunda práctica
Objectivo:Procurade “El Quijote” por Internet,
guardade o ficheiro no directório “Corpus”
visualizade o ficheiro na consola
e contade as palavras e caracteres do texto
- busca com Firefox no site http://www.gutenberg.org/
- borra o metatexto que não pertence ao livro de Cervantes
- fai a contagem com OpenOffice e com o comando wc
- fazede o mesmo com cat usando a técnica dos pipes “|”
- provade também o comando more
GNU/LINUXSegunda práctica
- visualizade o ficheiro: cat ElQuijote.txt
- visualizade o ficheiro pantalha a pantalha:more ElQuijote.txt
- Contade as linhas, palavras e bytes dum ficheiro:wc ElQuijote.txt
GNU/LINUXSegunda práctica
O shell permite a construção de comandos complexos através da combinação de vários comandos simples. O operador "|", conhecido como pipe, ou tubo, permite conectar a saída de um comando à entrada de outro.
cat ElQuijote.txt | more
cat ElQuijote.txt | wc
GNU/LINUXSegunda práctica
Como está codificado o ficheiro ElQuijote.txt ?
- lê o ficheiro com o comando cat - comproba a codificação: “file --mime”- a codificação é Latin 1 (ISO-8859-1).
- como o comando cat da shell lê o texto como se estivesse
codificado em Unicode, devemos convertir o texto do ficheiro
Objectivo: Conta o número de ocorrências das expressões:“Quijote”, “Don Quijote”, “Sancho”, “Sancho Panza”, “Dulcinea”, “Dulcinea del Toboso”, ...
cat ElQuijote_Unicode.txt | grep “Quijote” | wc
Comando “grep”: selecciona as linhas do texto que contenham uma sequência de caracteres (ou string) específica
GNU/LINUXOutros comandos de interesse
head -N (escreve as primeiras N linhas do texto)
tail -N (escreve as últimas N linhas do texto)
head -N | tail -1 (escreve a N linha)
head -5 (escreve as primeiras 5 linhas do texto)
tail -11 (escreve as últimas 11 linhas do texto)
head -12 | tail -1 (escreve a linha 12)
GNU/LINUX Quinta práctica
Objectivo: Criar um ficheiro executável, chamado “linha.x”, que escreva a linha do texto que lhe digamos.
cat ElQuijote_Unicode.txt | ./linha.x 5 (escreve a linha 5 do texto)
Solução:
head -$1 | tail -1
GNU/LINUX Sexta práctica
Objectivo: Criar um ficheiro executável, chamado “linhas.x”, que escreva as linhas do texto que lhe digamos.
cat ElQuijote_Unicode.txt | ./linhas.x 10 3 escreve as 3 últimas linhas até chegar à linha 10 (de 8 a 10)cat ElQuijote_Unicode.txt | ./linhas.x 33 10 escreve as 10 últimas linhas até chegar à linha 33 (de 24 a 33)
Solução:
head -$1 | tail -$2
GNU/LINUX Séptima práctica
Objectivo: melhorar o “linhas.x” para criar linhas2.x
cat ElQuijote_Unicode.txt | ./linhas2.x 3 10 escreve da linha 3 à linha 10cat ElQuijote_Unicode.txt | ./linhas2.x 10 33 escreve da linha 10 à linha 33
GNU/LINUX Comandos mais interessantes para processamento de texto
cat : concatena diversos arquivos.
tac : idem, mas inverte a ordem das linhas.
more : permite a paginação.
tr : troca de caracteres entre dois conjuntos.
head : seleciona as "n" linhas iniciais.
tail : seleciona as "n" linhas finais.
wc : conta o número de linhas, palavras e bytes.
sort : ordena as linhas segundo critérios ajustáveis.
uniq : elimina linhas repetidas, deixando uma soa linha.
sed : para operações complexas de strings (trocas, etc).
grep : selecciona linhas contendo uma determinada expressão.
cut : selecciona colunas do fluxo de entrada.
rev : reverte a ordem dos caracteres de cada linha.
4. Lenguajes de
programación
Criterios de clasificación
según su nivel de abstracción
según la forma de ejecución
según el paradigma de programación
según el propósito u objetivo
Clasificación según:
Nivel de abstracción
lenguajes de bajo nivel
lenguajes de medio nivel
lenguajes de alto nivel
Lenguajes de bajo nivel
Los lenguajes de bajo nivel son lenguajes de programación que se acercan al funcionamiento de una computadora.
El lenguaje de más bajo nivel es el código máquina.
A éste le sigue el lenguaje ensamblador. Al programar en ensamblador se trabajan con los registros de memoria de la computadora de forma directa.
Lenguajes de medio nivel
Un lenguaje de medio nivel (como es el caso del lenguaje C) tiene ciertas características que lo acerca a los lenguajes de bajo nivel: pueden acceder a registros de memoria,
y al mismo tiempo, tiene ciertas cualidades que lo hacen un lenguaje más cercano al humano y, por tanto, de alto nivel.
Lenguajes de alto nivel
Los lenguajes de alto nivel son normalmente fáciles de aprender porque están formados por elementos de lenguajes naturales, como el inglés: IF, ELSE, WHILE, THEN, FOR, etc.
Lenguajes de alto nivel
* Ada
* ALGOL
* Basic
* C++
* Clipper
* COBOL
* Fortran
* Java
* Modula-2
* Pascal
* PHP
* PL/SQL
* Perl
* Prolog
* Python
* Ruby
* Lenguajes funcionales
- Haskell
- Lisp
Clasificación según:
Forma de ejecución
Para ejecutar un programa fuente que se escribe en un lenguaje de alto nivel, tiene que traducirse o interpretarse en un código que pueda utilizar la máquina (código máquina).
lenguajes compilados
lenguajes interpretados
Lenguajes compilados
Un lenguaje compilado traduce todo el programa fuente que se quiere ejecutar en un fichero binario escrito en código máquina. Este fichero tiene carácter permanente.
Los programas que hacen esta traducción se llaman compiladores.
Al usar un lenguaje compilado, el programa fuente desarrollado nunca se ejecuta sino después de haber compilado/traducido el programa correctamente
(lo que se ejecuta es el programa traducido en código máquina)
Lenguajes interpretados
En vez de traducir el programa fuente y grabar en forma permanente el código objeto, el programador sólo carga el programa fuente en la computadora junto con los datos que se van a procesar.
A continuación, un programa intérprete convierte cada proposición del programa fuente en lenguaje de máquina conforme vaya siendo necesario durante el proceso de los datos. No se graba el código objeto para utilizarlo posteriormente.
Los lenguages interpretados se suelen llamar lenguajes de script.
Clasificación según:
Paradigma de programación
lenguajes imperativos / procedurales
lenguajes declarativos:- funcionales- lógicos
lenguajes orientados a objetos
Clasificación según:
el propósito u objetivo
lenguajes de propósito general
lenguajes de propósito específico
Propósito general
Son lenguajes que pueden ser usados para varios propósitos:
- acceso a bases de datos,
- comunicación entre computadoras,
- cálculos matemáticos,
- diseño de imágenes o páginas,
- compiladores,
- etc.
Propósito específico
Son lenguajes especializados en tareas concretas. Ejemplos:
Se a palavra acaba em consoante final(dlnrs), o plural fai-se com -es.Senão, se a palavra acaba em -z, substituimos o -z final por -c e engadimos -es.Senão, engadimos -s.
a instrução IF
if (expressão) { bloco do if }else { bloco do else }Se a expressão é verdade, executam-se as instruções contidas no bloco do if. Caso contrário, executa-se o bloco de instruções do else.
Expressões falsas:1 > 2 ; 0 ; “”, 1-1
Expressões verdadeiras:1 < 2 ; os números excepto o 0; as strings excepto “”
Expressões Regulares: exemplos 1
if ($x =~ m/s$/) { print “é um plural!”;}Se a sequência de caracteres associada à variável $x contém um -s final, então escrevemos: “é um plural!”.
$x =~ s/ble$/bel/;Se a sequência de caracteres associada à variável $x contém a subsequência final -ble, então é substituída por -bel.
Expressões Regulares: exemplos 2
if ($x =~ m/ca[sz]ar/) { print $x;}Se a sequência de caracteres associada à variável $x contém uma subsequência “casar” ou “cazar”, então escrevemos toda a sequência (que é o valor de $x).
if ($x =~ m/^[Qq]uijote$/) { print $x;}Se a sequência de caracteres associada à variável $x é exactamente 'Quijote' ou “quijote”, então escrevemos essa sequência.
Expressões Regulares: exemplos 3
if ($x =~ m/^Paulo$|^Pau$|^Paolo$/) { print $x;}Se a sequência de caracteres associada à variável $x é exactamente “Paulo”, “Pau” ou “Paolo”, então escrevemos o valor de $x.
if ($x =~ m/^in[a-z]+ble$/) { print “é um adjectivo!”;}Se a sequência de caracteres associada à variável $x começa polo prefixo “in”, seguido de um número indeterminado de caracteres, e finaliza por “ble”, então a cadea $x é um adjectivo.
Instruções iterativas
while (expressão) { bloco } O bloco será executado até que a expressão se torne falsa:
while ($cont < 5) { print “$cont \n”; $cont++;}
Estrutura do Programa “morfo_numero_iterativo.perl”
• Iterações de entrada e saídas: Uma vez produzida a saída, o sistema solicita uma nova entrada. Só vai finalizar o processo se o usuário lhe di que pare.
•PROCESSAMENTO: while( $Palavra ne "q" ) { print "Escreve um novo nome ou adjectivo (ou q pour finalizar): "; $Palavra = <STDIN>; chomp $Palavra; if ($Palavra eq "q") { print "gracinhas e adeus!! \n"; } else { $Plural = $Palavra . "s" ; print "O plural de \"$Palavra\" e o seguinte: \n"; print "$Plural\n\n"; }}
Mentres a palavra introduzida não seja o carácter “q”, então o script escreve o plural dessa palavra e volta a pedir que o usuário introduza uma nova palavra.
6. Programando um tokenizador
Objectivos
• ler o texto dum ficheiro linha a linha.
• processar o texto lido: tokenizer: quebrar o texto em palavras ou carácteres (letras). contagem de frequências: ocurrências de letras, palavras, formas, pares de palavras, etc.
• escrever num ficheiro os resultados.
Estrutura do tokenizer
• Lê linha a linha o texto de entrada.
• Escreve noutro ficheiro (ou na consola) as palavras do texto de entrada.Cada palavra aparece numa linha.
Resultado do tokenizer
“ A nena tem uma chupeta azul.”
Anenatemumachupetaazul.
Estrutura do separador de caracteres
• Lê linha a linha o texto de entrada.
• Escreve noutro ficheiro (ou na consola) os caracteres do texto de entrada.Cada carácter aparece numa linha.
while ($linha = <STDIN>) { instrução1; instrução2; ... }
Lê uma a uma as linhas do ficheiro, e cada linha é colocada na variável $linha. Após a leitura de uma linha, executa-se o bloco de instruções (entre chaves). Isto é repetido até chegar à última linha do ficheiro
Instruções do tokenizer
@pals = split (“ ”, $linha);Divide-se a cadeia $linha cada vez que aparece um espaço em branco. As sucessivas divisões são colocadas na lista @pals.
foreach $pal (@pals) { instrução1; instrução2... } Uma vez tomado um elemento da lista @pals e colocado na variável $pal, executam-se as instruções do bloco. Isto é repetido com todos os elementos da lista.
Instruções iterativas
foreach $var @lista { bloco } O bloco de instruções será executado um número de vezes correspondente ao número de elementos na lista, sendo que para cada iteração uma variável conterá o valor do elemento da lista.
while (expressão) { bloco } O bloco será executado até que a expressão se torne falsa:
while ($cont < 5) { print “$cont \n”; $cont++;}
a instrução IF
if (expressão) { bloco do if }else { bloco do else }Se a expressão é verdade, executam-se as instruções contidas no bloco do if. Caso contrário, executa-se o bloco de instruções do else.
Expressões falsas:1 > 2 ; 0 ; “”, 1-1
Expressões verdadeiras:1 < 2 ; os números excepto o 0; as strings excepto “”
Pattern-Matching
if ($line =~ m/Maria/) { print $line;}Se a subcadeia “Maria” se encontra dentro da cadeia $line, então afichamos a cadeia $line.
$line =~ s/\,/ \,/;Se aparece o caracter “,” na cadeia $line, então substituimos esse caracter pelos dois caracteres “ ,” (i.e. introduzimos um espaço antes da vírgula).
Estrutura de “freq.perl”
• Lê linha a linha o ficheiro tokenizado :
• Escreve num ficheiro (ou no terminal) os resultados das contagens.
• Realiza as contagens: - conta as ocorrências de cada token (palavras e marcas), - conta o número total de ocorrências de palavras,
- conta as ocorrências da cadeia “relac”,
- conta o número total de formas de palavras.
Instruções de contagem.perl
while ($token = <STDIN>) { $contar{$token}++;} Lê-se linha a linha o arquivo e construe-se uma tabela: %contar.
Cada elemento duma tabela é uma estrutura “chave -> valor”.
Cada chave da tabela é um token. O valor para cada chave é o número de vezes que o token é lido:
foreach $tokenDiff (keys %contar) { $contarTokensDiff++; print "$tokenDiff\t$contar{$tokenDiff}\n" } Iteração: Percorremos a lista de chaves (keys) do hash %contar. Cada elemento é colocado na variável $tokenDiff.
Bloco de Instrucções:- contamos os tokens diferentes (formas de palavras)
- escrevemos o token (chave de %contar) e a frequência do token (valor de %contar)