Top Banner
26

Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

May 22, 2020

Download

Documents

dariahiddleston
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose
Page 2: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Big Data Do-It-Yourself mit MicrosoftOlivia Klose

Technical Evangelist, Microsoft Deutschland GmbH

aka.ms/oliviaklose, @oliviaklose

Page 3: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Die 3 Vs

MB

GB

TB

PB

batch

periodic

real

time

table

data

base

un-

struc-

tured

web

Big Data, Gesellschaft für Informatik, 2013,

http://www.gi.de/service/informatiklexikon/

detailansicht/article/big-data.html

Page 4: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Daten

Page 5: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Demo

DemoTweets extrahieren: Echtzeit-Dashboard

Page 6: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

StreamInsight

Page 7: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Extract

StreamInsight

Azure SQL

Azure Blob

Storage

Real-Time

Dashboard

Twitter

Tweets extrahieren

Page 8: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Demo

DemoTweets speichern im Windows Azure Blob Storage

Page 9: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Hadoop

Page 10: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Hadoop

Page 11: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

MapReduce

Page 12: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

MapReduce

Page 13: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

MapReduce: Map

Page 14: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

MapReduce: Reduce

Page 15: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Analyze

Hive Tables

Azure Blob

Storage

Azure Blob

Storage

Mash Up &

Visualise

Tweets in HDInsight Analyze

Azure SQL

Real-Time

Dashboard

Twitter

Extract

StreamInsight

Page 16: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose
Page 17: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

HDInsight auf PowerShell

Page 18: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Analyze

Hive Tables

Azure Blob

Storage

Azure Blob

Storage

Mash Up &

Visualise

Hive in HDInsight Analyze

Hive Tables

Azure SQL

Real-Time

Dashboard

Twitter

Extract

StreamInsight

Page 19: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose
Page 20: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Mash Up &

VisualiseAzure SQL

Tweets visualisieren

Mash Up &

Visualise

Analyze

Hive Tables

Real-Time

Dashboard

Twitter

Extract

StreamInsight

Azure SQL

Azure Blob

Storage

Page 21: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Demo

DemoTweets visualisieren

Page 22: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Demo

DemoTweets visualisieren

Page 23: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Extract

StreamInsight

Azure SQL

Azure Blob

Storage

Real-Time

Dashboard

Twitter

Big Data Twitter Infrastruktur

Mash Up &

Visualise

Analyze

Hive Tables

Page 24: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Big Data DIY in der MVA

http://aka.ms/BigDataDIY

Page 25: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose

Weitere Informationen

[email protected]

aka.ms/oliviaklose

Twitter:@oliviaklose

Big Data DIY Kurshttp://aka.ms/BigDataDIY

Windows Azure Trialhttp://aka.ms/azurenow

HDInsighthttp://tinyurl.com/hdinsight

Hortonworks for Windowshttp://aka.ms/hdp

Microsoft Big Data Supporthttp://aka.ms/bigdatasupport

Page 26: Big Data Do-It-Yourself · Big Data Do-It-Yourself mit Microsoft Olivia Klose Technical Evangelist, Microsoft Deutschland GmbH aka.ms/oliviaklose, @oliviaklose