UFF Tech 2013 - Case Copa das Confederações - IBM

© 2013 IBM Corporation

Copa das Confederações da FIFA Brasil 2013Projeto IBM: Ei!



Objetivo

� Copa das Confederações– Evento teste para Copa do Mundo– 8 seleções

• 6 campeãs de seus continentes• 1 campeã da copa do mundo anterior• 1 anfitriã• Brasil, Japão, México, Itália, Espanha, Uruguai, Nigéria e Taiti

� Analisar em tempo real os tweets relacionado a seleção Brasileira

� Twitter 2013:– 550 milhões de usuários ativos– 58 milhões de mensagens por dia

� Tweets em Português


Projeto IBM: Ei!

� Análise de sentimento baseada em algoritmos de Machine Learning

� Ambiente de processamento em tempo real

� Altas taxas de transferência de dados

� Alta Disponibilidade e Escalabilidade

� Implementação em Cloud


A Plataforma de Big Data IBM

BI / Reportin

g

BI / Relatório

Exploração / Visualização

Aplicações

Operacionais

Aplicações de Indústria

Análise Preditiva

Conteúdo Analítico

Aplicações Analíticas

IBM Big Data Platform

Gerenciamento de Sistemas

Desenvolvimento de Aplicações

Visualização & Descoberta

Aceleradores

Information Integration & Governance

HadoopSystem

Stream Computing

Data Warehouse

1 – Unlock Big Data

2 – Analyze Raw Data

4 – Reduce costs with Hadoop

3 – Simplify your warehouse

5 – Analyze Streaming Data


InfoSphere Streams

Uma plataforma para análises em tempo real sobre Big Data em movimento

� Volume– Terabytes por segundos– Petabytes por dia

� Variedade– Todos os tipo de dados– Todos os tipos de análises

� Velocidade– Conhecimento em microsegundos

� Agilidade– Dinamicamente responsivo– Rápido desenvolvimento de aplicações

Milhões de eventos por segundo

Latência em microsegundos

Fontes de dadosTradicional / Não-tradicional

Decisões em Tempo Real

AnálisesTradingPrevisível churn de Telco

SmartGrid

Segurança cibernética Governo /

Aplicação da lei

UTI Monitorada

Ambiente Monitorado


� continuous ingestion� Ingestão e análise de dados continuo

Como funciona o Streams


Achieve scale:

By partitioning applications into software components

By distributing across stream-connected hardware hosts

Transform

Filter / Sample

Classify

Correlate

Annotate

Como funciona o Streams� Ingestão e análise de dados continuo


Mercado de Ações

� Impacto do tempo nos

preços das ações

� Análise da dados do

mercado em latências

super baixas

Prevenção de Fraude

� Detecção de múltiplas fraudes

� Prevenção de fraudes em tempo real

e-Science

� Previsão do clima espacial

� Detecção de eventos momentâneos

� Pesquisa atômica de Síncrotron

Transportes

� Gerenciamento

inteligente do Tráfego

Smart Grid & Energia

� Controle afinado

� Unidade de Monitoramento

de Fasor

Sistemas Naturais

� Gerenciamento de incêndios

florestais

� Gerenciamentos climáticos

Outros

� Manufacturing

� Análise de Texto

� Vigilância em tempo real

� Detecção de segurança cibernética

Aplicações da Lei,

Defesa & Segurança Cibernética

Saúde e Ciências da

Vida� Monitoramento de UTI

Neonatal

� Sistema de alerta

preventivo de epidemia

� Monitoramento remoto

de saúde

Telefonia

� Processamento de CDR

� Análise Social

� Prevenção de Churn

� Geomapping

O que as pessoas estão fazendo com Streams


Real-Time Social Media AnalysisClassification Phase

10

Text Classifier

Real-time

ClassifiedDB

Stream

Computing

LearnedDB

.json(Ogyvly)

Twitterviz

ResearchInternaldevelopment

Words

Filters

Research

Application Applications

Ogyvly


Real-Time Social Media AnalysisHA and DR Solution

11

Text Classifier

Real-timeStream

Computing

.json(Ogyvly)

Twitterviz

Research Internal development

Words

Filters

Research

Application

Applications

Ogyvly

Cloud 1 – QA - Canada

Cloud 2 – Prod - German

Text Classifier

Real-timeStream

Computing

Research Internal development

Words

Filters

Twitterviz

Research

Application

Twitterviz


Análise de Sentimentovou ser repetitivo de novo , mas : na minha epoca de jovem torcedor da

seleção brasileira , brasil nao tomava gol de p### de chile não viu

Tokenização ClassificaçãoLematizaçãoEtiquetador

MorfológicoNormalização

vou

ser

repetitivo

de

novo

,

mas

:

na

minha

epoca

de

Jovem

torcedor

da

seleção

brasileira

brasil

nao

tomava

gol

de

p###

de

chile

não

viu

Parte: palavrões

Verbos: vou, ser, tomava

Substantivos: epoca, brasil, gol, chile, seleção

Adjetivos: repetitivo, jovem, brasileira, palavrão

vou: ir

ser: ser

tomava: tomar

p###: palavrão


Análise de Sentimentovou ser repetitivo de novo , mas : na minha epoca de jovem torcedor da

seleção brasileira , brasil nao tomava gol de p### de chile não viu

16.3%83.6%0.1%POLARIDADE

9.10E-624.68E-617.43E-64PROD

0.07%0.03%0.04%ver

0.03%0.08%0.04%não

0.06%0.03%0.02%chile

0.04%0.09%0.01%palavrão

0.01%0.04%0.08%gol

0.08%0.06%0.04%tomar

0.03%0.08%0.04%não

0.04%0.07%0.05%brasil

0.07%0.03%0.08%brasileira

0.05%0.08%0.09%seleção

0.05%0.04%0.07%torcedor

0.02%0.04%0.09%jovem

0.02%0.01%0.01%epoca

0.08%0.04%0.02%mas

0.03%0.05%0.02%de novo

0.02%0.07%0.01%repetitivo

0.08%0.02%0.02%ser

0.07%0.05%0.01%ir

NeutroNegativoPositivoParte

Do learned database


App


Tv


Resultados – Brasil x Itália


Resultados – Brasil x Uruguai


Resultados – Brasil x Espanha


Mídia


UFF Tech 2013 - Case Copa das Confederações - IBM

Technology