Transcript

Слоны в облакахработаем с Hadoop в Windows Azure

Владимир ЮневMicrosoft

Agenda

Big Data и Microsoft

Как мы поддерживаем Hadoop

Hadoop в Windows Azure как сервис по требованию

Насколько «Big Data» биг сегодня?

Image courtesy of CERN

1 PETABYTEданных в секунду получает Большой адронный коллайдер

2005 2008 20150

100020003000400050006000700080009000

130 EB

1227 EB

7910 EB

Big «Big Data»

Интернет видео – 18 Экзабайт в месяц

Мобильный трафик – 2 Экзабайта в месяц

В 2011 году Фейсбук перенес 11 Петабайт данных в свой Hadoop кластер

Пользователи Twitter создают более 1 терабайта сообщений в день

Cisco предполагает что к 2013 интернет трафик достигнет величины 667 экзабайт ( в год ), а к 2015 – превысит 1 Зеттабайт

Big unstructured data

* by Gartner

Microsoft и Big Data

4 триллиона объектов в Windows Azure

Bing скачивает 7 петабайт данных в месяц

Microsoft и Big Data

500 миллионов активных аккаунтов Microsoft Account

460 миллионов уникальных пользователей MSN в месяц

355 миллионов пользователей почты Hotmail

5.5+ миллиардов запросов к Bing в месяц

40 миллионов активных пользователей Xbox Live

14 миллиардов показов рекламы Microsoft Advertising в месяц

2-4 миллиарда писем в Office 365 ежедневно

Microsoft и Apache Hadoop

Microsoft и Apache Hadoop

SQL Server Connector for Apache Hadoopwww.microsoft.com/download/en/details.aspx?id=27584

Open source Hadoop .NET SDKhttp://hadoopsdk.codeplex.com/

Hive Add-in for Excel и Hive ODBC Driver

Microsoft HDInsight – 100% Hadoop для Windows Serverhttp://www.microsoft.com/bigdata

Windows Azure HDInsighthttp://HadoopOnAzure.com

Microsoft - Platinum Sponsor Apache Software Foundation

MicrosoftHDInsight

HDInsight на сервере и в облаке100% opensource-реализация платформы Apache Hadoop

знакомые инструменты для работы с данными (Excel, BI)

HDFS, MapReduce, Pig, Hive, Zookeeper, Mahout, …

интеграция с SQL Server, обмен данными

быстрое развертывание

инструменты управления Apache Ambari+System Center

интеграция и безопасность с Active Directory

доступ к сервису по требованию к облаке Windows Azure

АнонсPASS Summit

SQL Server 2012 Parallel Data Warehouseдвижок PolyBase для запросов между реляционными данными и данными Hadoop

Connector for Apache Hadoop для перемещения данных из SQL Server в HDFS и обратно

загрузка данных с SQL Server Integration Services

аналитика, MOLAP-кубы с SQL Server Analysis Services и визуализация с PowerPivot for Excel

интеграция с MicroStrategy, SAP Business Objects, SAS

выход в 2013 году

Могут ли слоны летать в облаках?

Hadoop cluster

Hadoop cluster

Windows Azure

Windows Azure HDInsight

Кластерпо

запросу

Кластерпо

запросу

Создание кластера

Демо Работа с Hadoop в Windows Azure

Заключение

Microsoft вкладывает силы и средства в Apache Hadoop

HDInsight – 100% Hadoop от Microsoft

Hadoop как сервис по требованию доступен в Windows Azure

Слоны могут летать в облаках!

Всем спасибо! Ваши вопросы

Владимир Юневэксперт по стратегическим технологиям, Microsoftvyunev@microsoft.comTwitter - @XaocCPSFacebook – facebook.com/YunevBlog – blogs.msdn.com/b/vyunev

http://www.microsoft.com/bigdatahttp://HadoopOnAzure.com

WindowsAzure.comAzureHub.ru

top related