Deployment de Spark al Supercomputador Marenostrum III Albert Calvo Ibáñez Director Jordi Torres, Codirector: Rubèn Tous Grau en Enginyeria Informàtica - Facultat d'Informàtica de Barcelona Universitat Politècnica de Catalunya - BarcelonaTech Abril 2016
24
Embed
Deployment de Spark al Supercomputador Marenostrum III
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Deployment de Spark al Supercomputador Marenostrum III
Albert Calvo Ibáñez
Director Jordi Torres, Codirector: Rubèn TousGrau en Enginyeria Informàtica - Facultat d'Informàtica de Barcelona
Universitat Politècnica de Catalunya - BarcelonaTech
Abril 2016
2
Índex
1. Context
2. Objectius
3. Planificació temporal
4. Pressupost
5. Desenvolupament
6. Resultats
7. Conclusions
3
1. Context
● Anàlisi de Dades Massives (Big Data)
– Cada dia es generen una mitjana de
2.5 Quintilions Bytes de informació
● Múltiples aplicacions
– Prendre decisions empresarials
– Detecció de frau
– Anàlisi de dades de dispositius de
baix cost
4
1. Context
- Framework Big Data
- Realitza les operacions a memòria
5
1. Context
-Permet treballar en diversos llenguatges: Scala, Python, R, Java
6
1. Context
- Pila unificada
7
2. Objectius
- Realitzar proves de rendiment a la plataforma MareNostrum III amb Spark
- Comparar la plataforma MareNostrum III amb altres plataformes
- Crear material didàctic, que serà utilizat en assignatures dels Màsters de la FIB
8
3. Planificació temporal
Bloc Descripció Metodologia
Bloc 0 Familiarització -
Bloc I Curs de GEP Cascada
Bloc II Desenvolupament del projecte
Scrum
Bloc III Preparació de la defensa Cascada
Bloc 0 01/08 fins 15/09, 2015
Bloc 1 15/09 fins 16/10, 2015
Bloc 2 16/10 fins 22/03, 2015/2016
Bloc 3 28/03 fins 11/04, 2016
9
4. Pressupost
Tipus de Cost Preu
Costos directes 9.444,71 €
Costos indirectes 34,40 €
Altres costos 25 €
Contingència (3%) 285,12 €
Imprevistos 476,1 €
TOTAL 10.265,33 €
10
5. Desenvolupament
Plataforma MareNostrum III
Centre de Càlcul DAC
- Aproximadament 50,000 cores- 115,5 TB de memòria
- 16 cores - 27,2 GB de memòria
11
5. Desenvolupament
Plataforma Bluemix
Plataforma Databricks
- Recursos sota demanda - Plataforma, de moment, inestable