OVS VXLAN Network Accelaration on OpenStack (VXLAN offload and DPDK) - OpenStack最新情報セミナー 2016年3月

Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved

OVS VXLAN Network Accelaration on OpenStack (VXLAN offload and DPDK)

Ikuo Kumagai – Bit-isie Equinix Inc.

Yuki Kitajima - Altima corp.

Masayoshi Oka - Netone systems

1


Tokyo Summitにて

Hyper-Converged OpenStack についての取り組みの中で

‣ DPDKの評価は終わっていないと話しました

→今回はその続編です

http://www.slideshare.net/ikuokumagai/approaching-hyperconvergedopenstack

2


振り返り

前回発表したセッションの趣旨は

‣ できるだけ汎用的なHWで

‣ できるだけ標準的なSW/デプロイ方法で

‣ 一部のHW/SWの置き換えだけで

(VXLAN offload/DPDK/Ceph RDMA)

ハイパーコンバージドインフラをOpenStackで構築すること

3


OVS/VXLANを選択する理由

[メリット]

Neutronのネットワーク機能はOVS/VXLANならばほとんど使える。

既存ネットワークのデメリットを避けながら、そして周囲の環境との相互接続性が保てる(選択肢が多い)。

[デメリット]に対する考え方

パフォーマンスネック/拡張性の問題？

‣ Linux kernelによるパフォーマンスネック

‣ フルメッシュトンネリング・VXLAN unicast/multicast 問題

4


Why OVS, Why VXLAN

OVS(Open vSwitch) ‣ OpenStack環境で最も標準的なネットワーク

▪ "Open vSwitch is the most common choice for Neutron drivers, though the bulk of deployments selecting it are in proof of concept stage. ”

VXLAN(RFC7438)

‣ オーバーレイ方式で最も広く使われている

‣ 多くのOpenStackディストでデフォルト設定

‣ 既存ネットワーク内に組み込める

http://www.openstack.org/assets/survey/Public-User-Survey-Report.pdf 5

http://www.openstack.org/assets/survey/Public-User-Survey-Report.pdf


OVS VXLAN Performance Test

with No Accelaration

6


Test Items (Network)

KVM

Compute Node-2

OVS

VXLAN

VM VM VM VM

KVM

Compute Node-1

OVS

VM VM VM VM

VM to VM between physical nodes

1 – 16 VM per physical node

Metering by iperf3 TCP & UDP

7


Basic Perfomance TCP Bandwidth

Total & Average Performance(※iperf3 default)

Bandwidth(GBits/sec)

1-1 2-2 4-4 8-8 16-16

Total 2.05 3.18 5.74 7.18 10.53

Average 2.05 1.59 1.43 0.90 0.66

0.00

2.00

4.00

6.00

8.00

10.00

12.00

1-1 2-2 4-4 8-8 16-16

Total

Average

8


Basic Perfomance (UDP Bandwidth by packet size)

Total

Average

9


Basic Perfomance (UDP Laytency by packet size)

Laytency (Jitter)

Lost Packet

10


VXLAN オフロード

11


VXLAN offload

OVS + Normal NIC [General Understanding]

‣ VXLAN process handled by OVS.

‣ It means that CPU works for packet process of VXLAN packets.

‣ Normal NIC can NOT take care about,

▪ Checksum, TSO, RSS, etc

12


VXLAN offload

What is the VXLAN offload

‣ Offload VXLAN protocol on edge-point (NIC)

‣ VXLAN offload engine enables TCP/IP offload

▪ Enable checksum, TSO, RSS, GRO

‣ Get more throughput, Less latency and less CPU resource

VM generate inner packet OVS generates outer packet

13


VXLAN offload

VXLAN offloadの特徴

‣ VTEP -> RSS/TSO/RSO

NIC Driver

Linux Kernel

OVS Flow Table

User Space

Virtio

VM

Virtio

VM

OVSDB (VTEP)

ポイント説明

①VXLANパケットのchecksum, RSO/TSO, のCPUオフロード

②[OVS] VTEP(CPU)によるVXLANの decap/encap

③VMとの受け渡しはVLAN

意外と多い勘違い

VTEPはオフロードしません*

ただし、VTEPオフロードをするNICもあります！

使いどころ

VM当たりのスループット性能の向上

CPU負荷の低減

OS inboxドライバ対応が進む

①

②

③

14


VXLAN offload

HW selection

型番 MCX311A-XCCT

MCX312B-XCCT MCX313A-BCCT MCX314A-BCCT

Port Single 10GbE

Dual 10GbE

Single /10/40/56GbE

Dual /10/40/56GbE

Port Type SFP+ SFP+ QSFP QSFP

Cable Cupper, Optical

Host Bus PCIe 3.0 x 8

Features VXLAN/NVGRE offload, RDMA, SR-IOV, etc

OS RHEL, SLES, Microsoft Windows Sever, FreeBSD, Ubuntu, VMWare ESXi

15


VXLAN offload result(TCP Bandwidth)

Compair VXLAN offload and normal

Bandwidth(GBps) 　- VXLAN offload

1-1 2-2 4-4 8-8 16-16

Total 14.40 21.70 30.00 31.43 24.63

Average 14.40 10.85 7.50 3.93 1.54

0.00

5.00

10.00

15.00

20.00

25.00

30.00

35.00

1-1 2-2 4-4 8-8 16-16

Total

Average

Bandwidth(Gbps) normal

1-1 2-2 4-4 8-8 16-16

Total 2.05 3.18 5.74 7.18 10.53

Average 2.05 1.59 1.43 0.90 0.66

0.00

5.00

10.00

15.00

20.00

25.00

30.00

35.00

1-1 2-2 4-4 8-8 16-16

Total

Average

16


DPDK (6WIND)

17


まとめ

18


VXLANオフロード

メリット

‣ 帯域の有効活用という点では非常に有効。 ※OVSでVXLANオフロードを使う場合にsegmentation offload がない場合は本番運用は難しいのでは。

‣ 利用が簡単。対応NIC/ドライバがあれば特別な設定は不要

デメリット

‣ Linux側のボトルネックを全て解消するわけではない。 → NW処理の負荷は多少なりともホスト全体に波及する。

想定する利用シーン

‣ 特殊な要件のない環境での帯域増速

19


DPDK

メリット

‣ OVSでNWの基本的な性能を求めるのであれば必須 (OVSオフロードは試していない)

デメリット

‣ まだまだ初期設定等には難しい部分がある。サポートがなければ運用は難しそう。(今後解消される可能性もある)

‣ インスタンス側のCPU pinning には注意する必要がある。

想定する利用シーン

‣ ショートパケットのリクエストが多い環境

‣ NW系の仮想アプライアンスを利用する場合

‣ その他NW系に高い要件をもつようなケース

20


ten

an

t netw

ork

NetworkノードにDPDKを設定

想定する利用方法(NWノードへ適用)

Compute

VXLAN offload

Compute

VXLAN offload

Compute

VXLAN offload

Compute

VXLAN offload

Backborn

Router

・・・

DPDK

DPDK

DPDK

DPDK

Network

DPDK

L3 agent

LBaas agent

VPN agent

21


ten

an

t netw

ork

sh

are

d n

etw

ork

NW機能を集約したコンピュートノードを配置

想定する利用方法(NW機能を集約したコンピュートノード)

Compute (NW Function)

DPDK

Compute

VXLAN offload

Compute

VXLAN offload

Compute

VXLAN offload

Compute

VXLAN offload

Backborn

Router

・・・

VLAN

VXLAN

DPDK

DPDK

DPDK

DPDK

LB

Router

VPN

例えば Instance Resource Quotaを適用するなども可能

22


広告

ビットアイル・エクイニクスのOpenStackパッケージはデフォルトでVXLANオフロードを使用しています。 (DPDK(6WIND)は価格未決定ですが相談可能です)

23

OVS VXLAN Network Accelaration on OpenStack (VXLAN offload and DPDK) - OpenStack最新情報セミナー 2016年3月

Technology