Python 3 + apache hadoop

Python 3 + Apache HadoopEduardo Mendes (z4r4tu5tr4)

z4r4tu5tr4@Babbage: whoami

● Eduardo Mendes● Fatec Americana● github.com/z4r4tu5tr4● [email protected]

Estrutura

● Problemas○ Metereologia○ Linguística de Corpus

● Soluções○ Celery + NFS○ Python + Mongo○ Disco○ Hadoop

ProblemasMetereologia e Linguística de Corpus

Metereologia● Cruzamento de duas bases de dados● Atualizadas de 15 em 15 minutos● Durante 100 anos● Tabelas xls● Mudança de padrão com o passar dos anos

Linguística de Corpus [0]Linguística de corpus ocupa-se ela da coleta e da exploração de corpora, ou

conjutos de dados linguísticos textuais coletados criteriosamente, com o

propósito de servirem para a pesquisa de uma língua ou variedade linguística.

Como tal, dedica-se à exploração da linguagem por meio de evidências

empíricas, extraídas de computadores

(Sardinha, 2014)

Linguística de Corpus [1]● O que esperar?

○ Não é PLN○ Não é mineração de dados○ Não é aprendizado de máquina

Linguística de Corpus [2]Operações básicas esperadas LC (Mike Scott):

● Contagem de palavras (WordList)

● Concordância (Concord)

● Comparação (KeyWords)

● Etiquetagem (Tagging)

“Soluções”Parciais

Celery + NFS● Complexibilidade de código● Problemas com logs● NFS não particiona arquivos

○ Problemas de leitura e armazenamento

Python + Mongo● Uma solução excelente com metereologia e

péssima com Linguística.

SoluçõesO que deu certo

Sistema de arquivos distribuído

● Google File System○ Particiona arquivos em partes de 64mb○ Três cópias de cada replicação○ Arquitetura ‘Master - slave’

Sistema de arquivos distribuído

MapReduce

Disco● Framework para processamento distribuído● Feito em Python● Projeto ‘Jovem’● “Não tem a melhor documentação do

mundo”

Apache Hadoop [0]● Framework livre● Escrito em Java● Adaptação do Google File System (GFS)● Adaptação do algorítimo de MapReduce● “Pode ser programado em qualquer

linguagem” - Streaming

Apache Hadoop [1]● Tolerância a falhas● Interface amigável● Boa documentação● YARN

Apache Hadoop [2]

MapReduceLib [1]

Hadoop Streaming [0]● Boa interface para se trabalhar com

qualquer linguagem quando usamos shell script

● Código ‘simples’

Python + Hadoop [0]● Pydoop (CRS4)● Hadoopy ● MrJob (Yelp)● Dumbo (LastFm)

Nenhuma funciona com Python 3+

Python + Hadoop [1]

MapReduceLib [0]● Uma maneira de não mexer mais com Shell e

Java● Uma abstração simples com um único import● Funcionar bem com o modo interativo● Acessar o sistema de arquivos distribuído● Executar funções administrativas● Fosse compatível com Spark

[email protected]

github.com/z4r4tu5tr4