15分で説明するディープ ラーニング フレームワーク「Microsoft Cognitive Toolkit (CNTK)」

Microsoft Research による研究成果を製品にフィードバック

Bing Maps

ルート検索

Microsoft Research

設立

Kinect

人体

モーションの

検出

Azure ML,

Cognitive,

R Server

etc…

ディープ

ラーニング

Hotmail

ジャンクメール検出

Bing 検索

情報増加に

応じた

最適な検索

Skype Translator

音声の

リアルタイム

翻訳

1991 201420091997 2015-20102008

ImageNet で最高評価

28.225.8

16.4

11.7

7.3 6.7

3.5

ILSVRC 2010NEC America

ILSVRC 2011Xerox

ILSVRC 2012AlexNet

ILSVRC 2013Clarifi

ILSVRC 2014VGG

ILSVRC 2014GoogleNet

ILSVRC 2015ResNet

ImageNet Classification top-5 error (%)

誤差率を半減させ、人の誤差率(5%)も下回る

2015年、マイクロソフトは、エントリーした5分野すべてで1位を獲得(ImageNet classification, ImageNet localization, ImageNet detection, COCO detection, and COCO

segmentation)

https://blogs.technet.microsoft.com/microsoft_japan_corporate_blog/2016/10/24/161018-microsoft-researchers-reach-human-parity/

https://www.microsoft.com/en-us/research/project/aerial-informatics-robotics-platform/

https://github.com/Microsoft/AirSim

https://www.microsoft.com/en-us/research/project/medical-image-analysis/

http://www.msmarco.org/

会話用 AI 開発/研究向けの匿名化された質問/回答10万件を無償公開

課題の認識仮説の立案

データ収集/加工

学習 評価 デプロイ

8

MachineLearning

Stream AnalyticsSQL Data Ware House

/ SQL Database/ DocumentDB

IoT Hub /Event Hub

各種デバイス

Data FactoryData Lake Store

Storage(Blob / Table / Queue)

Data Lake Analytics

Power BIMicrosoftR Server

HDInsight

Cognitive Services

Data Catalog

Cognitive Toolkit

Cognitive Services

AzureMachineLearning

HDInsight (Hadoop)

Microsoft R ServerMahout(Hadoop)

MLlib(Spark)

SQLServer2016

CognitiveToolkit

(Deep Learning)

Virtual Machine

(CPU / GPU)

https://www.microsoft.com/en-us/research/product/cognitive-toolkit

https://github.com/Microsoft/CNTK-docker

4層全結合のニューラルネットの計算 (512-2048-2048-2048-2048-10000)

https://github.com/Alexey-Kamenev/Benchmarks

model = Sequential (Scale {featScale} :ConvolutionalLayer {32, (5:5), pad = true} : ReLU : MaxPoolingLayer {(3:3), stride=(2:2)} :ConvolutionalLayer {48, (3:3), pad = false} : ReLU : MaxPoolingLayer {(3:3), stride=(2:2)} :ConvolutionalLayer {64, (3:3), pad = false} : ReLU : DenseLayer {96} : Dropout : ReLU : LinearLayer {labelDim}

)

例：手書き文字認識 (MNIST)

with cntk.layers.default_options(activation=cntk.ops.relu, pad=False): conv1 = cntk.layers.Convolution2D((5,5), 32, pad=True)(scaled_input)pool1 = cntk.layers.MaxPooling((3,3), (2,2))(conv1)conv2 = cntk.layers.Convolution2D((3,3), 48)(pool1)pool2 = cntk.layers.MaxPooling((3,3), (2,2))(conv2)conv3 = cntk.layers.Convolution2D((3,3), 64)(pool2)f4 = cntk.layers.Dense(96)(conv3)drop4 = cntk.layers.Dropout(0.5)(f4)z = cntk.layers.Dense(num_output_classes, activation=None)(drop4)

例：手書き文字認識 (MNIST)

https://www.microsoft.com/en-us/research/product/cognitive-toolkit/model-gallery/

Azure Notebook

または

Data ScienceVM

Data ScienceVM

AzureBatch

Shipyard

https://notebooks.azure.com

Cognitive Toolkitのチュートリアルがすぐに試せます

http://aka.ms/dsvmdoc

http://aka.ms/dsvmhandout

http://aka.ms/dsvmtenthings

https://blogs.technet.microsoft.com/machinelearning/2017/04/18/deep-learning-on-the-new-ubuntu-based-data-science-virtual-machine-for-linux/

https://docs.microsoft.com/en-us/azure/machine-learning/machine-learning-data-science-dsvm-ubuntu-intro

CPU (Windows)

GPU (Linux)

CPU (Linux)

GPU (Windows)

http://gpu.azure.com/

https://azure.microsoft.com/en-us/blog/azure-n-series-general-availability-on-december-1/

NC6 NC12 NC24 NC24r

Cores 6 12 24 24

GPU 1 x K80 GPU 2 x K80 GPUs 4 x K80 GPUs 4 x K80 GPUs

Memory 56 GB 112 GB 224 GB 224 GB

Disk 380 GB SSD 680 GB SSD 1.44 TB SSD 1.44TB SSD

NetworkAzure Network Azure Network Azure Network InfiniBand &

Azure Network

https://github.com/Azure/batch-shipyard

ShipyardClient

(Linux推奨)

AzureBatch

Docker Repository

・Shipyard コマンド- ジョブの開始など

・設定ファイル- アカウント情報- Docker イメージ名- 実行コマンド など

(Githubから入手)

Docker Image

https://www.microsoft.com/research/product/cognitive-toolkit/

https://github.com/microsoft/cntk

https://github.com/Microsoft/CNTK/wiki/CNTK-Library-API

https://blogs.technet.microsoft.com/machinelearning/2017/01/11/announcing-data-science-utilities-version-0-11-for-the-team-data-science-process/

https://aka.ms/cntkjapan

https://www.facebook.com/groups/1529425353735438/

https://www.microsoft.com/ja-jp/events/decode/2017/

sessions.aspx#AI05

本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoftは絶えず変化する市場に対応しなければならないため、ここに記載した情報に対していかなる責務を負うものではなく、提示された情報の信憑性については保証できません。

本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。

すべての当該著作権法を遵守することはお客様の責務です。Microsoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、どのような形式または手段（電子的、機械的、複写、レコーディング、その他）、および目的であっても禁じられています。これらは著作権保護された権利を制限するものではありません。

Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoftから書面によるライセンス契約が明確に供給される場合を除いて、本書の提供はこれらの特許、商標、著作権、またはその他の知的財産へのライセンスを与えるものではありません。

© 2015 Microsoft Corporation. All rights reserved.

Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。

その他、記載されている会社名および製品名は、一般に各社の商標です。