OpenStack最新情報セミナー（2015年12月）ライトニングトー … · Title: OpenStack最新情報セミナー（2015年12月）ライトニングトーク大会資料

COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 1 COPYRIGHT © 2014 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED

Lightning Talk

2015年12月02日

三菱電機インフォメーションシステムズ(略称 MDIS )

吉川晃平

ご注意

• 本書の内容の一部又は全部を当社に断りなく、いかなる形でも転載又は複製することは、固くお断りします。

• 本文記載の社名、製品名、ロゴは各社の商標または登録商標です。

• OpenStack® のワードマークと OpenStack のロゴは、米国とその他の国における OpenStack Foundation の登録商標/サービスマークまたは商標/サービスマークのいずれかであり、OpenStack Foundation の許諾の下に使用されています。

• VMware vSphere®、VMware ESXi™は米国およびその他の地域における VMware 商標および登録商標です。

COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 2

自己紹介

吉川晃平 (よしかわこうへい)

発表者

• OpenStack: 勉強中

• 趣味：スキー

• 好きな食べ物：ラーメンパスタから肉チーズに改宗

インフラ系システムエンジニア

経歴

• 海底ケーブルの監視GUI

• ISPのホームページ公開システム

• オンプレミスのWebポータル共通基盤続きはWebで

COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 3 3 COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED

3


発表の概要

社内にOpenStack®の講習やPoCを行うための環境をつくりました。

＃技術的にはOpenStackと関係のない内容が多めです・・・


成果の概要

• 複数グループが同時にそれぞれのOpenStackを構築・検証できるようになりました

• 実際に社内ハンズオンを開催しました

• これからいろいろ活躍しそうです


6


きっかけ

社内で「OpenStackやりたいね」機運たかまる

なりゆきで私が担当者に

ひとりでやるより皆でやろう

社内ハンズオン講習いいね！


8


解決したい課題

講習会で受講者（社員・関連会社）が利用する「OpenStackを作る環境」が必要になった。 ① 環境が貧しいなりにも受講毎に独立した環境を提供したい

② 講習会場や自学先からセキュアにアクセスできるようにしたい

弊社内講習会場弊社検証機器講師

受講者

VPN

弊社


Compute Node

学習に必要なマシン（一人）

Public network (Floating IP割当)

Controler

Node

Network

Node

em1 em1 em1

em2 em2 em2

em1

em2

em1

em2

default GW

受講者 VPN

OpenStack 管理用Network

テナント内Net (OvS)

Instance

Instance

Instance

em1

em2

※OpenStack Installation Guide for Ubuntu 14.04 kiloベース ( http://docs.openstack.org/kilo/install-guide/install/apt/content/index.html )


ハンズオンを開くとなると

default GW

受講者 VPN

グループ ① グループ ②

グループ ③ グループ ④

グループ ⑤ グループ ⑥

グループ ⑦ グループ ⑧


ハンズオンをひらくとなると・・・

1受講グループあたり

① [Controller node] (KVMでglance,nova,horizon,cinder,MQ,RDB格納)

② [Network node] (neutron)

③ [Compute node] (nova-compute )

×８グループ=２４サーバー必要！

※OpenStack Installation Guide for Ubuntu 14.04 kiloベース ( http://docs.openstack.org/kilo/install-guide/install/apt/content/index.html )


リソースたりない

• ハンズオンを開くにはサーバー台数が全く足りない

–（物理サーバー数台）

• 固定IPが1つしかない


14


トライしたこと

① VMWare vSphere®でネストさせた仮想環境に講習環境を詰め込んだ

②講習会場-機器間にVPN経路を引いた


トライしたこと①仮想環境のネスト

• 検証に必要なサーバーをVMWare ESXi™上の仮想マシンで提供(KVM on ESXi)

• シンプロビジョニング、オーバーコミットしまくり

• 当然スワップまみれ。性能は考慮しない。

物理サーバ数台+物理SW

VMWare ESXi 、仮想SW (tagged VLAN)

受講グループ1

仮想マシン 1

Controller node

KVM

nova

KVM

glance

KVM

horizon

KVM

mariaDB

KVM

rabbitMQ

KVM

swift

KVM

cinder

仮想マシン 2

Network node

neutron

仮想マシン 3

Compute node

KVM

instance 1

KVM

instance N

×８

仮想マシン x 3

node x 3

vCenter Server VMWare

で用意

受講者が作る


トライしたこと②会場から環境へのアクセス

• 検証環境内からは(VPNを介さず)インターネット疎通可能に

• 外部から検証環境へはVPN経由のみ許可

① 国外からのアクセス拒否

② ID/Password認証

③ SSL-VPN

④ ユーザーグループ毎に専用のネットワークスペース

VPNで許可

サーバー環境

外部サイト (リポジトリ等)

許可

拒否

講習会場


18


ネットワークスタック

物理配線 (Ethernet)

VLAN (L2SW, VMWare仮想スイッチ)

GREトンネル

[Open vSwitch]

仮想ブリッジ

Tenant Private

Tenant Floting

OpenStack (Kilo) nodes

vCenter Server

VPN GW

Internet GW

RIP Internet

◆Global IPが1個しかない。 ⇒がんばってやりくりするしか


受講者へ提供するネットワーク


VLAN(L2SW, VMWare仮想スイッチ)

GREトンネル

[Open vSwitch]

仮想ブリッジ

Tenant Private

Tenant Floting

OpenStack nodes

vCenter Server

VPN GW

Internet GW

受講者へ提供する環境 [仮想マシンx3,サブネットx2 ]/受講者 × 8 グループ

RIP Internet

OpenStack 構築に専念！！

受講者x8grp


環境へのアクセス経路



GREトンネル

[Open vSwitch]

仮想ブリッジ

Tenant Private

Tenant Floting

OpenStack nodes

vCenter Server

VPN GW

Internet GW

NAPT

VPN確立 IP・経路リース

NAT RIP

Floating IP

Internet

ログイン時のユーザーIDに応じて接続先VLANを選択

受講者のネットワークアドレスは重複してもよいようにルーティングテーブル分割

受講者x8grp

テキストどおりの IPアドレス！

Tenant 1

Tenant 2

Tenant 3

Tenant 8

・・・


テナント内からインターネットへの経路



GREトンネル

[Open vSwitch]

仮想ブリッジ

Tenant Private

Tenant Floting

OpenStack nodes

vCenter Server

VPN GW

Internet GW

NAPT

SNAT + Route Domain

SNAT

RIP

Floating IP

Internet

テナント内からInternetへはVPNを経由させず直接アクセスさせる。

テナント内サーバーからはdefaultGWにアクセスしてるだけにみせる。

受講者

apt-get叩けないと講習にならないからね


23


VMWare設定:VLAN

受講グループ１用の VLAN (Tag付)

物理NICはVLAN ID=0 (タグつけたままトランク)

① 受講グループ毎のVLANを仮想スイッチ内に作る ② 物理アダプタは「VLAN ID=なし(0)」を選ぶ（Tagを付けたまま物理スイッチへ流す）


VMWare設定:仮想スイッチ

テナントの仮想ネットワークを流す仮想スイッチの「セキュリティ」→「ポリシー例外」 →「無差別モード」を「承諾」に変更する。


VMWare設定:仮想マシン設定

KVM on ESXiネストする仮想マシンの.vmxファイルに vhv.enable = TRUE 行を追加する。(仮想マシン上でVT-xを有効にするため)


構築内容：ネストした仮想マシン

①受講者PC画面

②vCenter RDP

③Ubuntu Desktop

vCenter コンソール画面

④KVM上の Ubuntu Server

仮想マシンマネージャのコンソール画面

ちゃんと動きました


構築内容：VPNスタック

IP Geolocation Matching JP以外のIPを拒否

SSL-VPN ログイン

ID/Password認証

IDが所属するグループ毎に場合分け

グループ毎に接続経路を割当 - 接続先VLAN

- ルーティングテーブル - 静的ルート

- リースIPレンジ

That's all !


国外srcIPからのアクセス拒否の例

JP以外からのアクセスなので拒否

srcIPから地域を検索 CC=BG(ブルガリア)

C=EU (欧州)


ID認証とSSL-VPN確立

・・・普通につながります


ルーティングテーブルの分割

• Route Domainという仕組みを使い、受講グループ毎にルーティングテーブルを分割しました。 ①受講グループ向け

GWの設定 ②受講グループ・Internet間のSNAT

グループ11 ID=1111 グループ10 ID=1110

重複するアドレスを Route Domain idで区別する

重複するネットワークから1つのグローバルIPへSNATさせる


32


解決できたこと

• 同時に８グループ約20人がOpenStackを構築・検証できる環境を用意できました


解決できたこと

講師を招き社内でOpenStack構築のハンズオンセミナーを開催することができました

弊社内講習会場弊社検証機器講師

受講者

VPN

弊社


35


課題

• 相変わらず貧弱なサーバー

–需要増えて重くなってきた・・・

– サーバー増やして仮想化ネストをやめて恒常的なBMS導入や物理機器のcinder/neutron連携も・・・・したいなと


今後の展望

講習後の環境は、

– CI/CD

– BMS制御

などいくつかのPoCで活用しています


最後に宣伝・・・

ホワイトボックススイッチ

も取り組んでます

11/16 広報発表

出典：クラウドWatch http://cloud.watch.impress.co.jp/docs/news/20151116_730791.html

続きはWebで


39

OpenStack最新情報セミナー（2015年12月） ライトニングトー … · Title: OpenStack最新情報セミナー（2015年12月） ライトニングトーク大会 資料

Documents

OpenStack最新情報セミナー（2015年12月）ライトニングトー … · Title: OpenStack最新情報セミナー（2015年12月）ライトニングトーク大会資料