Big Data perspectiva DevOps

Big Data y perspectiva de DevOps

Enrique Carbonell@kikicarbonell

About

Enrique Carbonell Muela

• Lic. Ciencias de la Computación

• Ingeniero de Software• Líder de equipo• Miembro equipo de Operaciones

• Entusiasta del DevOps• Organizador DevOpsDays Cuba

Twitter: @kikicarbonellLinkedIn: /enrique-carbonell

Sumario

I Parte: Big DataConceptos, casos de uso, herremientas...

II Parte: DevOpsDesarrollo de soluciones, operaciones, perspectiva DevOps, herramientas, proyectos de apoyo a la investigación.

I Parte: BigData

Casos de Uso

Casos de Uso

● Análisis de comportamiento● Segmentación de clientes● Soporte predictivo● Análisis de mercado y optimización de precios● Predicción de amenzasa● Detección de fraudes● Especificos:

– Red de sensores climatológicos

– Redes eléctricas (3 T x día)

● ...

Casos de Uso

Realidad?

● Gigantes como Google lleva +10 años trabajando los datos

● En 5 años el 30% de los movimientos financieros serán acaparados por gigantes como Google y Apple (log n).

Realidad?

● Con los datos logran “conocer a las personas mejor que ellas mismas” (fuente: Campaña Trump y Obama)

● El sector financiero está moviendose para aprovechar al máximo la información de sus clientes.

Realidad?

Buzzword / Falacia

● Provedores vendiendo:– “hardware Big Data”

– “soluciones Big Data”

– “…. Big Data”

Panorama

Panorama

II Parte: DevOps

Supuestos

Supuestos

Realidad

Infraestructura?

● Provisionamiento● Escalado● Particionamiento elástico● Reutilización de recursos● Tolerancia a fallos● ...

DevOps

Recomendación?

SMACK / SDACK

● Spark● Mesos● Akka● Cassandra● Kafka● Docker

SMACK

engine de procesamiento de datos de gran escala (v: 10-100x).

sistema de gestion de recursos de un cluster, permite el aislamiento y comartir recursos entre aplicaciones distribuidas.

toolkit para construir aplicaciones basadas en manejo de mensajes altamente concurrentes, distribuidas y elásticas sobre JVM.

● bases de datos distribuida con alta disponibilidad diseñada para gestionar grandes volumenes de información entre diferentes datacenter.

sistema de mensajes de alta disponibilidad, baja latencia y diseñado para manejar la entrada en tiempo real.

Mesosphere

Mesosphere

What is Docker?

Plataforma abierta para el desarrollo, transporte y ejecución de aplicaciones.

Docker permite que empaquete todas las dependencias en una unidad estandarizada para el desarrollo de software y puesta en producción.

Docker

© 2013-2016 Docker, Inc. All rights reserved

Applications are changing

Loosely Coupled Services

Many Small Servers

~2000 Today

Monolithic

Big Servers

Slow changing

Rapidly updated

Investigación

● Apache Zeppelin● Spark Notebook● Hue● ...

Arquitectura

Arquitectura

Visualización/Exploración

Visualización/Exploración