Edge Computing と k8s でなんか話すよ

Edge Computing と k8sでなんか話すよ

日本仮想化技術株式会社

VitrualTech.jp

たまおきのぶゆき

2017/12/05

1

Who is

• 日本仮想化秘術ではなく日本仮想化技術

• OpenStack/NFVでご飯を食べる人

• Googleで”OpenStack”を検索すると高い確率で「OpenStack最新情報セミナー」の資料にHit

2

今日のゴール「Edge Computing と k8s

一緒に遊びたい人、手を挙げてー！！」

3

今日のお題① たまおき的関心事項② MEC + GPUコンピューティング

4

① たまおき的関心事項

• OpenStack -> NFV -> その次• Edge Computing + GPU になるといいな

• HPE Moonshot System 2台をゲット• BBT西野さんDMM高嶋さんと推進している「OpenStack共同検証ラボ」でサーバを増強してもらいました

•大規模Containerクラスタ&GPUの提案が増えてます

• GKE 最高ー！！

•コンテナおよびコンテナインフラの運用ノウハウ蓄積• みんなが困ることはコミュニティの中で集約したいですね

5

• Edge Computing の定義が人によって違う、Mobile Edge Computing だとなおさら• ネットワーク網なのか• コンピュートなのか• 場所を指しているのか

• AI や Deep Learning の具体的な利活用が求められている

参考）GPUインフラの選択

• 機密情報などのデータを扱いたい。最新の GPU を使いたい。

• インフラを集中管理し、簡単に使えて、GPU リソースを有効活用

GPU on OpenStack が GPU インフラの候補に

6

パブリッククラウドプライベートクラウド

規模

② 専用のHPCクラスタ

④ GPU搭載のワークステーション

① パブリッククラウドのGPUインスタンス

③ GPU on OpenStack

自由度






•大規模Containerクラスタ&GPUの提案が増えてます7

• わらしべ長者的に検証サーバが増えてます• HPE Moonshot System 2台（45台×2）のコンピュート

で何をしようかニヤニヤしています







参考）OpenStack on GKE

GKE上でOpenStackのコントローラノードを稼働

9

ホストOS+ KVM

Cloud SQL

オーケストレーション

コンピュートコンピュートコンピュートサーバサーバ

ホストOS+ KVM

ホストOS ＋コンテナエンジン

RabbitMQ RabbitMQ RabbitMQ

Keystone Keystone Keystone

Nova Nova Nova

LB LB

Static IP (OpenStackだとFloating IP)GCP/GKEで稼働

自社DCで稼働

GCP: Google 社のインフラでKVM および関連サービスを提供する

GKE: Google 社のインフラでDocker と Kubernetes および関連サービスを提供する







参考）自宅 k8s-er の悩み

• コンテナインフラのセットアップ方法

• 外部からのインターネットアクセス

• コンテナインフラの監視

• コンテナおよびコンテナインフラのセキュリティ

• コンテナインフラの仮想ネットワーク

• コンテナインフラのストレージ

• コンテナインフラのバージョンアップやパッチ適用

• コンテナインフラのバックアップ

11







今日のお題① たまおき的関心事項② MEC + GPUコンピューティング

13

MEC (Mobile Edge Computing)+ GPUコンピューティング

について

日本仮想化技術株式会社

VitrualTech.jp

2017/12/05

14

MECについての理解

15

MEC を取り巻く状況

外的要因

• 5G ネットワークの立ち上がり

• Edge Throughput が 100Mbps

• Latency が 1ms

• Peak Data Rate が 20Gbps

• Connected Carやスマートスピーカーなどの新領域のアプリケーションの登場

内的要因

• 運用コスト削減への圧力

• Software Defined Infrastructure の本格検討

• NFVやSD-WANを商用インフラで検討

• 機械学習や深層学習の業務への活用検討

MECを理解する①MEC のユースケースによって必要な要素（テクノロジー、品質、ビジネス要件）が異なる

MBB: Mobile BroadbandmMTC: massive Machine

Type CommunicationsDense Inf SocietyConnected vehiclesVR office/factory/tactileThroughput

Latency

Reliability

Availability

EnergyEfficiency

User/Devicedensity

Implications of 5G RAN and IoT on OpenStack based edge computing. より引用 [ OpenStack Summit にて AT&T, Ericsson 発表 ]https://www.openstack.org/videos/sydney-2017/implications-of-5g-ran-and-iot-on-openstack-based-edge-computing

Disaggregated CoreDisaggregated RAN

MECを理解する②AT&T の MEC Architecture

5G ApplicationEcosystem

IoT

Connected Car

MBB

RU DU UPF UPF

Macro Radio& Small cellAntennas

5GBase

StationsEdgeCloud

CentralizedCloud

CCF

Internet

CU-CP

CU-UP

NFV MANO (Management & Orchestration)

CU: Centralized Unit CP: Control PlaneUP: User Plane

UPF: User Plane FunctionCCF: Core Control Function

RU: Radio UnitDU: Digital Unit

Implications of 5G RAN and IoT on OpenStack based edge computing. より引用

MECを理解する③

• Docker / Kubernetes でコントローラを構成する

• ゼロタッチ・プロビジョニングが鍵

• 数千ロケーションに展開することを想定

• エッジノードにて新しい技術を即座にサポート（GPU, SmartNIC, FPGA, など）

• NFVやSDNなど他のプロジェクトとの連携を想定

AT&TのMECプロジェクトを推進する上での気づき

MEC＋GPUコンピューティング

20

MEC+GPUコンピューティング

• Docker / Kubernetes を使用したMEC環境の構築

• ゼロタッチ・プロビジョニングを見越した、MEC環境の構築・構成変更• サーバOSのインストールからコンテナアプリの設定まで

• 仮想ネットワークと仮想ストレージも視野に

• エッジノードでGPUの活用

POC(Proof of Concept)で実証したいこと

Container nodes

MEC+GPUアーキテクチャNFV MANO

Edge Controllers

Physical Provisioning

Application Provisioning

SDN / SDSMonitoring /

AlertingOrchestrator

GPUHi speed

networkingGeneralpurpose

Lowenergy

Hi speedstorage

GPU Server

GPU Server

Storage Server

StorageServer

ObjectStorage

Serversw/t SmartNIC Servers

Edge Cloud のスコープ

ServerServer Server

Edge Computing で必要な構成要素

前ページのMEC+GPUアーキテクチャの図示した構成要素以外で必須・任意の構成要素を列記

必須要素

• Edge Cloud のオーケストレータ• Kubernetes を想定

• Edge Cloud 内のリソースを操作するための End Point• Kubernetes API を想定

任意要素

• Edge Cloud 内の構成情報・資産情報の管理23

Container nodes

POC#1のスコープ想定NFV MANO

Edge Controllers

Physical Provisioning

Application Provisioning

SDN / SDSMonitoring /

AlertingOrchestrator

GPUHi speed

networkingGeneralpurpose

Lowenergy

Hi speedstorage

GPU Server

GPU Server

Storage Server

StorageServer

ObjectStorage

Serversw/t SmartNIC Servers

Edge Cloud のスコープ

ServerServer Server

コンテナ/ハイパーバイザーについての整理

25

GPUノードにおける整理

Hypervisor/Container でGPUを動かすために

• HypervisorではPCI パススルーで、Containerでは nvidiadocker で利用可能

• PCI パススルーはOpenStackコンピュートノードに設定が必要

• KVM ベースの GPU インスタンスに GPU を割り当てる

• nvidia dockerは特別なハードウェア設定なしに使用できる

• OpenStackから Kubernetes や Docker コンテナを操作するための仕組みを導入する必要がある

26

GPUノードにおける整理

どちらを選択するのがよいのか？

PCI パススルー nvidia docker

強み多目的（VDI/HPC/DL）

で利用可能環境構築が簡単

弱み特別な環境設定が必要• HPCやDLの用途に限定• リソース競合の懸念

• OpenStackとの連携に課題

27

用途に合わせて選択するのがよいと考えます。OpenStack + nvidia docker については NTT コミュニケーションズ様が調査を行い発表しているので参考するとよいです。https://www.slideshare.net/VirtualTech-JP/gpu-container-as-a-serviceoss-openstack-20177

General purposeノードにおける整理

コンテナ技術が注目される理由

トレンドについての説明

• アプリケーション開発者の熱狂的な支持• 「作って、壊せる」環境の手軽さ

• クラウド・ネイティブ・アプリケーションの増加• DevOps や Immutable Infrastructure の推進

• 通信事業者でのコンテナ技術の採用の流れ• NFV領域やサービスプラットフォームなどでの適用検討

現時点においてHypervisorとContainerのどちらを選択してもよいが、今後Containerを採用するユースケースが増加すると想定

Hypervisor上にContainerを乗せることはできるが、ベアメタルサーバ上にContainerを乗せる方式が一般的になると予想 28

参考情報）OpenStack Summit Boston 2017 での発表

AT&T’s Container Strategy and OpenStack‘s Role in it

29

Today:• OpenStack on コンテナ

（OpenStackのコントローラノードをコンテナ上で稼働）

2018-19:• コンテナアプリケーションの増加と

ハイパーバイザー型アプリケーションの減少

• NFVでのVNFアプリケーションのコンテナ化（POCレベル）

2019+:• VNFアプリケーションのコンテナ化が

一般的に

コンテナ/ハイパーバイザーについての整理

• GPUノードにおける整理• 用途に合わせて選択する

• HypervisorでGPUを使用するために特別なH/W設定が必要なので、1台のGPUサーバでHypervisor/Containerを混在することはできない

• General purposeノードにおける整理• 現時点においてHypervisorとContainerのどちらを選択してもよいが、今後Containerを採用するユースケースが増加すると想定

• Hypervisor上にContainerを乗せることはできるが、ベアメタルサーバ上にContainerを乗せる方式が一般的になると予想

30

構成案

31

Container nodes

POC#1の構成案（ハードウェア）

Edge Controllers

• Physical Provisioning• Monitoring /Alerting

• Application Provisioning• Orchestrator

• SDN

POC#1のControllersの多重化は行わない想定

• GPU• General

purpose

Container nodes

POC#1の構成案（ソフトウェア）

Edge Controllers

• Physical Provisioning• Monitoring /Alerting

• Application Provisioning• Orchestrator

• SDN

POC#1のControllersの多重化は行わない想定

• GPU• General

purpose

MAAS/JujuPrometheus/ Grafana

Kubernetes vMX

nvidiadocker

docker

Contrail

ContrailvRouter

Appendix

34

Vehicle(s) Vehicle ServicesCarrier(s)

Connected Car solution overview

35

Sensor & Vison & GPS

SteeringECU

TCU

ECU: Electric Control UnitTCU: Telematic Control Unit

BrakeECU

Suspension

ECU

DrivelineECU

Controller

Smart Highway Infra

Other VehiclesNF Comm-unication/ Radio

Internet Services

Connected Vehicles Services

4G / 5G

Connected Vehicles Services

• Mobility Management • Vehicle Management

• Safety• Entertainment

• Driver Assistance

Autonomous VehiclesServices

4G / 5G

Autonomous Vehicles Services

• Safety Record

Edge Computing と k8s でなんか話すよ

Technology