Hackeando Dados públicos com python

Fernando Masanori

@fmasanori

Hackeando Dados Públicos com Python

I love teachingCS Professor at FATEChttps://about.me/fmasanori

http://pycursos.com/python-para-zumbis/

Atenção

• Curso de 1h30 para pessoas iniciantes em programação

• Usaremos apenas Python 3, sem nenhuma biblioteca externa

• Vamos responder a perguntas como: • Quanto o Brasil gastou na Copa do Mundo

2014• Quantas escolas existem no Brasil, em

funcionamento, sem água, luz e esgoto • Nos slides seguintes uma motivação do que dá

para fazer com mais tempo...

Casdinho

Sentiment Analysis (Twitter)

menina: aaaaaaaaaaaaaa eu NAO GOSTO DELE

amiga: e vc ficará rica , e irá dividir sua riqueza cm sua amg aq *u*

menina: kkkkkk como assim eu fikar rica pq?

amiga: pq ele é inteligente , e vai arranjar um ótimo emprego , e

ganhar mt dinheiro rs

menina: kkkkk ele é inteligente como assim ??

amiga: AQUELE VIADO PASSOU NO CASDINHO, E EU NÃO !

Sentiment Analysis (Facebook)

Sabe o que é ter vontade de acordar cedo no domingo para estudar?!?

Bom, eu também não sei explicar, mas é o que estou sentindo no momento .-.

Bora Casdinho!

https://gist.github.com/4684752

Hacking Facebook Friends Photos

AndroidWallpaper

AndroidWallpaper

World Cup

https://gist.github.com/fmasanori/1288160dad16cc473a53

.

.

.

Notify via email when specific flight ticket fares goes down (by Lucas Inojosa)

https://github.com/lucasicf/notificapassagem

Olho Neles! Gastos com verba indenizatória

http://olhoneles.org/

JUS Brasil: organizamos toda a informaçãojurídica brasileira

http://www.jusbrasil.com.br/

Arquivos do minicurso

1.Inscreva-se no Python para Zumbis2.Baixar Vídeo Aula/Materiais > Aulas Isoladas >

Material para a IV Semana do Curso3.Baixar Abraji.zip

Caso você não saiba programar

1.Vídeo Aula Materiais > Criando suas hordas de Zumbis – Python na prática! > Python na Prática > Slides – Revisão Geral

2.Os arquivos são adivinhando números 01 a 06.py

Básico de Strings e Raspagem

1.Vídeo Aula Materiais > Criando suas hordas de Zumbis – Python na prática! > Revisando as Strings > Slides – Revisão Strings

2.Os arquivos são caneca01 a 08.py

Documentação Dados Públicos Copa 2014

http://www.portaltransparencia.gov.br/copa2014/dados/ws.seam

Soma simples

https://gist.github.com/fmasanori/a428ef783211b0ffdee1

Excluindo obras não iniciadas na época

https://gist.github.com/fmasanori/c648d753e7d0176ff172

Busca Simples por Escolas

https://gist.github.com/fmasanori/f4184a80952f040b6bb1

Busca Avançada por Situação

https://gist.github.com/fmasanori/fc0e98c8c486be80d5a5

Detalhe por código

https://gist.github.com/fmasanori/14bd33a0a221fca9d19e

Busca Avançada com alguns detalhes

https://gist.github.com/fmasanori/4d6b7ea38a28681a513a

Documentação API Educação

http://educacao.dadosabertosbr.com/api

Sites úteis para iniciantes

import.io

webscraper.io

scraperwiki.com (jornalistas conseguem conta free)

X-Ray Googles

Cursos avançados

Katharine Jarmul: Introduction to Web (and data!) Scraping with Python - PyCon 2014

Web scraping: Reliably and efficiently pull data from pages that don't expect it

Questions?http://about.me/fmasanori

[email protected]