Expert Day 2013 - Trabaja al tope con tus datos BIG DATA

TRABAJA AL TOPE CON TUS DATOS: BIG DATA

John Alexander Bulla TorresPASS – Regional Mentor Latin AmericaDirector BDotNetMCS | MCP | MCTS

Twitter @JohnBulla

Blog http://bit.ly/johnbulla

Linkedin http://www.linkedin.com/in/johnbulla

Julio AvellanedaMVP ASP.NET/IISCore Group BDotNetMCT | MCSD | MCTS | MCP

Twitter @julitogtu

Blog http://julitogtu.com

Julio Avellaneda

John Alexander Bulla Torres

@b_dotnet

@julitogtu

@johnbulla

http://www.facebook.com/ComunidadBDotNet

Agenda

Big Data – La revolución en los datos

Los datos digitales crecerán40x próxima década

En 2015, servicios de nube pública tendrán 46% de crecimiento neto en gasto de ti

Qué es Big Data?

"Big data" es un término aplicado a conjuntos de datos que superan la capacidad del software habitual para ser capturados, gestionados y procesados en un tiempo razonable.

Qué es Big Data?

Big data es una colección de conjuntos de

datos tan grande y complejo que se vuelve

difícil para trabajar con el uso de

herramientas de gestión de base de datos

tradicionales. Las dificultades incluyen la

captura, almacenamiento, búsqueda,

intercambio, análisis y visualización.

Fuente: Eduardo Castro MVP – SQL Saturday #247 Bogotá

Qué es Big Data?

Big Data: “ Barreras para que una

organización o equipo puedan

almacenar, procesar y acceder todos los

datos que necesitan para operar con

eficiencia, tomar decisiones, reducir

riesgos, etc.”

Fuente: SolidQ

Las 4 V’s

Volumen

Velocidad

Variedad

Variabilidad

Ejemplos de Big Data

12 Tbdía

21 PbHadoop

cluster

7 Pbmes

1 Tbtweets/dia

75

Millionscores/day

14 TbHadoop

cluster

4 BillionGraph

edg/day

7 Tbdatos/dia

Escenarios de Business Analytics

• Análisis sencillo de gran cantidad de datos no estructurados:

Microsoft HDInsight

• Análisis sencillo de datos en memoria: Microsoft StreamInsight

• Análisis en profundidad: SQL Server y Self-Service BI

¿Qué es Hadoop?

• Plataforma de almacenamiento de datos y análisis para Big

Data

• Open Source

• Optimizado para manejar

• Datos masivos a través de paralelismo

• Variedad de datos (Estructurados, No-estructurados, Menos

estructurados)

• Uso de hardware económico

• No para OLTP / OLAP

Hadoop - Ventajas

EscalableEscala linealmente en capacidad de almacenamiento y

computación

Tolerante a FallosProporcionado por el Sistema de ficheros distribuido y el

framework de lectura

Procesamiento distribuidoSigue la estrategia de divide y vencerás

HDInsight

• Project Isotope

• Proporciona Apache Hadoop en

• Windows Server

• Windows Azure

• Active Directory & System Center

HDInsight

HDFS

Map Reduce

HivePig

Sqoop

Mahout Pegasus Flume

JDBC

Hive ODBC

Windows Azure & Windows Server

MicrosoftBI

Platform

Explorando datos no-relacionales

Gestión de datos no-relacionels

Basado 100% Apache

Simplicidad de gestión en Windows

Traer Hadoop para software, appliance, cloud

Windows Azure

Hadoop cluster en HDP para Windows y HDInsight

Demo

HDInsight en Windows Azure

MondoDB

MondoDB y MongoLab

Demo

mongoDB

ExpertDay

http://expertday.org

www.bdotnet.org

@b_dotnet

@julitogtu

@johnbulla

http://www.facebook.com/ComunidadBDotNet

http://bit.ly/24HOPES-2013

Q & A

AGRADECIMIENTOS

Muchas Gracias

John Alexander Bulla TorresPASS – Regional Mentor Latin AmericaDirector BDotNetMCS | MCP | MCTS

Twitter @JohnBulla

Blog http://bit.ly/johnbulla

Linkedin http://www.linkedin.com/in/johnbulla

Julio AvellanedaMVP ASP.NET/IISCore Group BDotNetMCT | MCSD | MCTS | MCP

Twitter @julitogtu

Blog http://julitogtu.com