Keynote AWS Roadshow Campinas 2013

José Papo

@josepapo Juliano Tubino

Thank you Sponsors!

The Roadshow

Key note - AWS e Parceiros AWS

Coquetel Encerramento

14:00 - 15:30

18:00 – 19:00

Key note - AWS e Parceiros AWS 16:00 -18:00

Apresentacoes e Videos

http://awshub.com.br

Pessoal

e totalmente transferivel

#awssummit

Resumo do Dia:

Benefícios da Nuvem da AWS

Casos de Uso da Nuvem AWS

(e demos!)

Arquiteturas de Software para o

Século XXI (e demos!)

Vamos escrever juntos a historia do Cloud

Computing no Brasil

Thousands of new customers every month in Latin America

Resumo do Dia:

(e demos!)

Resumo do Dia:

Século XXI

“Todos os mercados estão sendo transformados pela nova onda digital”

http://www.amazon.com.br/Digital-Disruption-Unleashing-Innovation-ebook/dp/B009L7QD1S/

Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends

A Nuvem é o alavancador das novas tendências tecnológicas

“Para sobreviver no mercado, empresas precisam continuamente realocar recursos de processos de manutenção para processos de inovação.”

“Cloud is like a fertilizer that creates Startups”

Eric Ries

“Amazon Web Services is probably the most

important thing that has happened to mobile

and web app developers that the press just

misses. Jeff Bezos has accidentally or maybe

on purpose powered a whole generation of

applications.” Steve Blank

Acelerando o boom das startups e novos devices

Otimizando as Grandes Corporações

Dezenas de Milhares de Clientes na América Latina

Amazon S3: Mais de 2 Trilhões de Objetos

1.1M requisições/seg

no pico

Amazon Elastic MapReduce: Clusters criados pelos clientes

5.5 M clusters desde Maio de 2010

159 2011

61 2009

9 Amazon FPS

Red Hat EC2

SimpleDB

CloudFront

Availability Zones

Elastic IPs

Relational Database Service

Virtual Private Cloud

Elastic Map Reduce

Auto Scaling

Reserved Instances

Elastic Load Balancer Simple Notification Service

Route 53

RDS Multi-AZ

Singapore Region

Identity Access Management

Elastic Beanstalk

Simple Email Service

CloudFormation

RDS for Oracle

ElastiCache

DynamoDB

Simple Workflow

CloudSearch

Storage Gateway

Route 53 Latency Based Routing

Mais de 125 anúncios já feitos em 2013

Inovação Técnica rápida

e orientada aos clientes

Jul 28, 2013

Anunciando Amazon SNS for Mobile Push

– 1 milhão de notificações gratuitas por

mês e $1,00 para cada milhão adicional

Mar 11, 2013

Anunciando AWS Elastic Beanstalk para

Node.js

Feb 18, 2013

Anunciando AWS OpsWorks

Jan 28, 2013

Anunciando Amazon Elastic Transcoder

“Queria muito enviar notificações

push para apps móveis de forma

simples e barata”

“Seria tão bom se no Beanstalk eu

pudesse usar Node.js!”

“É difícil gerenciar minhas Chef recipes”

“Seria bom se a AWS deixasse o

processo de Transcoding mais fácil”

Samsung reduziu drasticamente seus custos com a AWS

Economizou $34 Milhões 85% de economia versus modelo tradicional

Desperdício

Clientes

Insatisfeitos

Demanda Atual

Demanda Prevista

Tradicional Cloud

Demanda atual

Redução de Custos via Elasticidade

Redução de Custos via preços baixos

Escala nos permite reduzir

preços continuamente

Estamos acostumados a trabalhar

em um negócio de altos volumes e

baixas margens

Nós sempre passamos

nossas economias de escala

a nossos clientes

Reduções de

preços

Somos obcecados em ajudar nossos clientes a economizar

Shell usa a AWS para aumentar significativamente sua agilidade

Time Remoto

Time Interno

Recursos Extras

Time de Outsourcing

Aumentando a agilidade, a TI deixa de ser vista como…

E passa a ser vista como tendo…

Nasdaq usa AWS para criar um novo serviço para hedge funds

Inovação: Experimentação Rápida com Custo e Risco Baixo

On-Premises

Menos Experimentos

Falhar é caro

Menos Inovação

Experimenta mais

Falha rápido com custo baixo

Mais Inovação

$ Milhões Centenas

ou Milhares

Resumo do Dia:

Século XXI

Big Data

Analysis of Data Can Transform Society

Create new business

models and improve

organizational

processes.

Enhance scientific

understanding, drive

innovation, and

accelerate medical cures.

Increase public safety

and improve

energy efficiency with

smart grids.

Democratizing Analytics gets Value out of Big Data

Unlock Value in

Silicon

Support Open

Platforms

Deliver Software Value

Intel at the Intersection of Big Data

Enabling exascale computing on massive data

Helping enterprises build open

interoperable clouds

Contributing code and fostering ecosystem

HPC Cloud Open Source

Intel at the Heart of the Cloud

Server

Storage

Network

Reinventing Supercomputing

On Demand

Scale-Out Platform Optimizations for Big Data

Cost-effective performance

•Intel® Advanced Vector Extension Technology

•Intel® Turbo Boost Technology 2.0

•Intel® Advanced Encryption Standard New

Instructions Technology

Power of the Platform built by Intel

Richer

experiences

50% Reduction

80% Reduction 50%

Reduction 40% Reduction

TeraSort for

1TB sort

Intel®

Xeon®

Processor

E5 2600

Solid-State

Drive 10G

Ethernet Intel® Apache

Hadoop

Xeon®

Processor

Intelligent Systems

Clients

Virtuous Cycle of Data-Driven Experience

Agenda

1. Introdução a Big Data

2. Transformando dado em informação

3. Analítico e Computação nas nuvens

4. Ecossistema Big Data

Introdução a Big Data

Uma das definições de Big Data

Quando a quantidade de dados começa a ficar tão grande que você tem

que começar a inovar no jeito de coletar, armazenar, organizar, analisar

e compartilhar a informação.

3 V’s

Volume

Velocity

Variety

Geração

Coleta e Armazenamento

Análise e processamento

Compartilhamento

O custo da geração de dados está caindo…

Geração

Compartilhamento

custo baixo,

alta transferência

Geração

Compartilhamento

custo baixo,

alta transferência

extremamente

limitado

Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011

IDC: Worldwide Business Analytics Software 2012–2016 Forecast and 2011 Vendor Shares

Dados gerados

Disponivel para análise

Volume de dados

Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011

IDC: Worldwide Business Analytics Software 2012–2016 Forecast and 2011 Vendor Shares

Elasticidade e alta escalabilidade

Sem capital adiantado

Paga apenas por uso

Disponível por demanda

Remove

todos os

limites

Geração

Compartilhamento

custo baixo,

alta transferência

extremamente

limitado

Geração

Compartilhamento

Acelerado

Big Data

Tecnologias e técnicas para

trabalhar de forma produtiva com

dados, em qualquer escala

Transformando dado

em informação

Analítico e

computação nas nuvens

Geração

Compartilhamento

Geração

Compartilhamento

S3, Glacier,

Storage Gateway,

DynamoDB,

Redshift, RDS,

Geração

Compartilhamento

Elastic MapReduce

Geração

EC2 & S3,

CloudFormation,

Elastic MapReduce,

RDS, DynamoDB, Redshift

Compartilhamento

Geração

AWS Data Pipeline

EC2 & S3,

CloudFormation,

Elastic MapReduce,

Elastic MapReduce

S3, Glacier,

Storage Gateway,

DynamoDB,

Redshift, RDS,

Compartilhamento

Geração

AWS Data Pipeline

EC2 & S3,

CloudFormation,

Elastic MapReduce,

Elastic MapReduce

S3, Glacier,

Storage Gateway,

DynamoDB,

Redshift, RDS,

Compartilhamento

Elastic Map Reduce

Hadoop gerenciado,

processamento analítico

Input data

S3, DynamoDB, Redshift

Elastic

MapReduce

Código

Input data

Elastic

MapReduce

Código Name

Input data

Elastic

MapReduce

Código

Input data

Elastic

cluster

S3/HDFS

Elastic

MapReduce

Código

Input data

S3/HDFS Queries

Via JDBC, Pig, Hive

Elastic

cluster

Elastic

MapReduce

Código

Output

Input data

Queries

Via JDBC, Pig, Hive

Elastic

cluster

S3/HDFS

Output

Input data

1. Clusters elásticos

10 horas

6 horas

Capacidade máxima

2. Rápido, provisionamento dinâmico

(muito) fácil.

Parte pesada e difícil é

removida...

3. E ainda o mesmo Hadoop

Ecosystem robusto. Databases, machine learning, segmentation,

clustering, analytics, metadata stores,

exchange formats, and so on...

4. Agilidade para experimentos

Tipos de instâncias Flexibilidade no tipo da instância & número.

5. Otimização de custo

Feito para Spot. Computação baseada no seu preço.

1. Clusters elásticos

2. Rápido, provisionamento dinâmico

3. Mesmo Hadoop

4. Agilidade para experimentos

5. Otimização de custos

Ecossistema Big Data

Dados, dados, (espalhados) em todo lugar... dados em silos (isolados)

DynamoDB EMR

HBase on EMR RDS

Redshift

On-premises Logs de App

“Como eu transfiro meus dados para a nuvem?”

Mobilidade dos dados

Gerados e armazenados na AWS

Transferência de dados entrante é gratuito

Multipart upload para S3

Media física (EUA apenas)

AWS Direct Connect

Replicação de AMIs e snapshots

“Como eu integro meus dados para

melhores resultados?”

DynamoDB EMR

HBase on EMR RDS

Redshift

DynamoDB EMR

HBase on EMR RDS

Redshift

DynamoDB EMR

HBase on EMR RDS

Redshift

DynamoDB EMR

HBase on EMR RDS

Redshift

On premises Logs de App

DynamoDB EMR

HBase on EMR RDS

Redshift

DynamoDB EMR

HBase on EMR RDS

Redshift

DynamoDB EMR

HBase on EMR RDS

Redshift

Pedidos

do dia

Acesso do

usuário

ERP/Prod

Histórico de

compras

Recomendações

de compra Analítico de

recomendação

AWS Data Pipeline Orquestração de muitos dados

Esqueleto de um pipeline

Pipelines complexos

aws.amazon.com/datapipeline

aws.amazon.com/big-data

DEMO!!!

Resumo

1. Introdução a Big Data

2. Transformando dado em informação

3. Analítico e Computação nas nuvens

4. Ecossistema Big Data

Obrigado!

ehorai@amazon.com

aws.amazon.com/elasticmapreduce

aws.amazon.com/datapipeline

aws.amazon.com/big-data

Obtenha 600 Horas Gratuitas

de Tempo de Supercomputação!

Passe no Stand da

Intel para obter as 600

horas de computação

www.powerof60.com

Segurança

Construída com altos padrões de segurança

Infraestrutura de Segurança AWS

SOC 1/SSAE 16/ISAE 3402, ISO 27001, PCI DSS, HIPAA, ITAR,

FISMA Moderate, FIPS 140-2, FedRAMP

Suas Apps

Infraestrutura Global US West

(Northern

California)

US East (Northern

Virginia)

EU (Ireland)

Pacific (Singapore)

Pacific (Tokyo)

Regiões AWS

Pontos Edge AWS

GovCloud (US ITAR

Region)

US West (Oregon)

America (Sao Paulo)

Pacific (Australia)

Regiões da AWS e Zonas de Disponibilidade

Cliente pode decidir onde suas aplicações e dados residem

Amazon VPC

Região AWS

Subrede pública

Subrede privada

Data Center

Matriz

Zona de Disponibilidade 1

Zona de disponibilidade 2

Subsidiárias

VPN Gateway Gateway

Internet Gateway

Amazon S3 Amazon SimpleDB Amazon SES Amazon SQS “Nuvem Privada não precisa ser dentro de casa” - Gartner

Arquitetura Híbrida com a AWS

Link Dedicado

Aberta, flexível e suportada pelos principais fornecedores Sistemas Operacionais Linguagens e Bibliotecas Aplicações Certificadas

Android iOS Java nodeJS .NET PHP Python Ruby

Rico conjunto de APIs e kits de dev para as principais linguagens e plataformas

E ferramentas e plugins integrados ao seu ambiente de desenvolvimento

Eclipse Visual Studio CLI Powershell

Suporte a muitas linguagens e ferramentas

Aplicações Corporativas

Economia com SAP na Nuvem da AWS de até 69%

May 2012 “TCO Study for SAP on Amazon Web Services”

Economia com SAP na Nuvem da AWS de até 69%

May 2012 “TCO Study for SAP on Amazon Web Services”

Resumo do Dia:

Com AWS, cresça de um servidor

…para milhares

Totalmente automatizado!

Além de escalabilidade nos servidores você pode

Adicionar bilhões de objetos com o Amazon S3

Selecionar a performance desejada nos bancos de

Processar e analisar petabytes de dados facilmente

PARAGRAFO RESUMO CASO _ KEY WORDS

de BENEFICIO, DESAFIO VENCIDO –

RESUMO DO CASO EM UM PARAGRAFO

‘Cost Aware Architecture’

…ao utilizar: Reduza Custo de

Compute

1. S3/CloudFront para Otimização de conteúdo estático

2. Load Balancing e Auto-Scaling desde o início

Storage 4. Armazenar objetos derivados no S3 ‘Reduced

Redundancy’ e usar Glacier sempre que possível

Banco de Dados 5. Read Replicas e/ou ElastiCache para performance

e redução de custos dos bancos de dados

Dev & Test 6. Ambientes Dev/Test/CI criados/desligados sob demanda

3. Modelos de Preços On-Demand, Reservado e Spot

7. A/B Testing e Testes de Carga mais baratos

O que isso significa em termos de custos?

Um Exemplo

Instancias EC2 Medium 1 $ 121

CloudFront Data Transfer Out 1Tb $ 168

Requisições CloudFront $1.89

TOTAL $ 291

Instancias EC2 Medium 4 $ 485

AWS Data Transfer Out 1Tb $ 194

TOTAL $ 679

Arquitetura Usual Arquitetura Otimizada

Custo 57% menor - Até 6 x mais rápido

Volume de Storage no S3

Números de Horas de Servidores EC2

Fevereiro de 2013

48,7 milhões de usuários

Levantou $338M de capital

Valuation de $2.5B

Web Application

Servers

Sharded Database

Cache Servers Internal

Web Services

File Storage

Servidores de Aplicação Python

150 instancias EC2 High-CPU

Web Application

Servers

Sharded Database

Web Services

File Storage

Web Services em Python

35 instancias EC2 High-CPU

Web Application

Servers

Sharded Database

Web Services

File Storage

Caches Memcache e Redis

90 instancias EC2 High-Memory

Web Application

Servers

Sharded Database

Web Services

File Storage

Servidores de Bancos de Dados MySQL

70 Pares Master/Slave

Web Application

Servers

Sharded Database

Web Services

File Storage

Srorage no Amazon S3

8 Bilhões de Objetos • 410 Terabytes

Web Application

Servers

Sharded Database

Web Services

File Storage

Serviços Auxiliares

60 Instancias EC2

Development

Logging

Operational Tools

Asynchronous

Task Workers Search

Data Analysis

Elastic MapReduce Continuous Integration

• Maior parte do tráfego acontece à tarde e no início da noite, portanto reduzem o número

de servidores durante a madrugada em 40%.

• No pico gastam $52 por hora com EC2 e à noite, for a do pico, o gasto é de $15 por hora.

Economias de até 71%

Ambientes Dev / Test

Versão de Homologação

Versão Beta / MVP

Arquitetura de

Produção 1.0

Arquitetura de

Produção 2.0

Arquitetura de

Produção 3.0

Arquitetura de

Produção 4.0

"Startups are all about focus. AWS enables focus" Ray Bradford, Kleiner Perkins, Caulfield & Byers

Sua aplicação

Seu negócio e seu diferencial competitivo

Inovação, não gestão de hardware / data centers / software

Investir tempo dos profissionais de TI no que importa

Automatizar o máximo que puder

(Insight profundo: Tempo do Profissional de TI = Muito Dinheiro!)

Automação = Foco!

…cresceu para 14 milhões de usuários em menos de um ano

…chegou a 150 milhões de fotos e terabytes de dados

…1 milhão de usuários em 12 horas após lançar versão Android

…mais de 100 milhões de usuários ativos em Janeiro de 2013

na Nuvem da AWS… com 3 engenheiros

Automação

Controle

Elastic

Beanstalk

CloudFormation

“Só quero minha

aplicação funcionando,

com acesso a servidores

só se necessário”

“Eu quero colocar no

controle de versões

toda a definição do meu

data center”

Construa Aplicações, Não Infraestrutura

OpsWorks

“Quero usar o Chef com

simplicidade e

orquestração de recipes”

EC2 EBS

RDS ELB

Upload de sua aplicação Beanstalk faz deploy Você ainda tem controle

Elastic Beanstalk

Não construa seu próprio…

1. Disparador de Emails

2. Fila de Mensagens

3. Notificações

4. Transcoding

5. Busca

6. Monitoração

7. Gestão de Workflow

…Use serviços prontos quando possível

…mas use como serviço

Amazon Simple Email Service

Amazon Simple Queuing Service

Amazon Simple Notification Service

Amazon Elastic Transcoder

Amazon CloudSearch

Amazon CloudWatch

Amazon Simple Work Flow

DEMOS!!!

White Papers

Gartner “Magic Quadrant for Cloud Infrastructure a Service,” Lydia Leong, Douglas Toombs, Bob Gill, Gregor Petri, Tiny Hayn, October 18, 2012. This Magic Quadrant graphic was published by Gartner, Inc. as part of a larger research note and should be evaluated in the context of the entire report.. The Gartner report is available upon request from Steven Armstrong (asteven@amazon.com). Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings. Gartner research publications consist of the opinions of Gartner's research organization and should not be construed as statements of fact. Gartner disclaims all warranties, expressed or implied, with respect to this research, including any warranties of merchantability or fitness for a particular purpose.

AWS é considerada a líder em Cloud IaaS segundo o Gartner

4X Mais Confiável e até 1/4 do Custo de Infra Tradicional

http://media.amazonwebservices.com/idc_aws_business_value_report_2012.pdf

Storage custa menos na Nuvem que dentro de casa

Relembrando:

Século XXI

OBRIGADO! awshub.com.br

slideshare.net/AmazonWebServicesLATAM

José Papo

AWS Tech Evangelist

@josepapo

Keynote AWS Roadshow Campinas 2013

Technology

CIBC Roadshow

London Roadshow Keynote Presentation

Investor roadshow presentation - Paradigm...

Roadshow Debêntures

Roadshow 2010

Keynote: Architecting for Continuous Delivery (Pivotal Cloud...

Hortonworks roadshow

Roadshow tips

Roadshow #2

Togaf Roadshow

Keynote: Software Kept Eating the World (Pivotal Cloud...

Roadshow Presentation Investor Presentation Q2...

Roadshow chile

AV Solution Partner Roadshow Juni 2016 HST Consulting...

Macle Roadshow 2015 - Keynote von NovaStor

Roadshow 2016