VMware vSphere 5.1 SR-IOV 導入ガイドh50146. · sr-iov 導入ガイド ... sr-iov pf およびvf の概念図 ... 560flb、560m、560sfp+など、「560」から始まるインテル®

テクニカルホワイトペーパー

HP ProLiantサーバー向け VMware vSphere 5.1 SR-IOV導入ガイド

目次 はじめに .............................................................................................................................................................. 2

SR-IOVの概要 .................................................................................................................................................... 3

vSphere 5.1で推奨されるシステム構成 .......................................................................................................... 4

SR-IOVに対応した ProLiantサーバー ............................................................................................................. 5

SR-IOVに対応したネットワークアダプター ....................................................................................................... 6

サポートされるゲストオペレーティングシステムのバージョン ........................................................................ 7

SR-IOVの制限事項 ............................................................................................................................................ 7

SR-IOVの有効化 ................................................................................................................................................ 8

準備 .................................................................................................................................................................... 9

インストールと有効化 ........................................................................................................................................ 9

構成 .................................................................................................................................................................. 10

複数システムへの配備 ................................................................................................................................... 15

トラブルシューティング ..................................................................................................................................... 16

既知の問題と対応策 ....................................................................................................................................... 18

参考資料、連絡先、その他のリンク ............................................................................................................... 19

第 1 版

2

はじめに

HPと VMwareは、HP ProLiantサーバー上で VMware vSphere 5.1の SR-IOV (Single Root I/O Virtualization) につい

てサポートを開始しました。SR-IOVは、ESXi (VMware vSphere) ハイパーバイザーに対して、単一の PCIe (PCI

Express) ネットワークアダプターを複数のネットワークアダプターとして利用できるようにします。これらのネット

ワークアダプターは、VF (Virtual Functions) と呼ばれ、仮想マシンへの直接アサインが可能です。VFを VMに直接

アサインすることで、ハイパーバイザーの仮想スイッチ (vSwitch) を使用してネットワークトラフィックを処理する必

要がなくなります。このハイパーバイザーのバイパスにより、スループットの向上と、レイテンシの軽減、さらには全

体的な CPU使用率が削減されます。

vSphere 5.1が登場するまで、ハイパーバイザーへのバイパスは VMDirectPathテクノロジーのみでした。

VMDirectPathは、各 VMに PCI機能全体を設定する必要があり、ネットワークアダプターの場合、1つの物理ネット

ワークポートを 1つの仮想マシンで占有してしまいます。これが適した状況もあり得ますが、通常は統合率や拡張

性の面で問題となります。SR-IOVは、1つの物理ネットワークポートを複数の仮想マシンで共有しながら、ハイパー

バイザーバイパス機能を提供する新しいテクノロジーです。

本書では、ProLiantサーバー上に vSphere 5.1の SR-IOVを正しく導入するために、その要件と構築手順を説明す

るものです。SR-IOVの実装を計画する場合は、本書で説明する構成とサポートの制限事項を考慮してください。本

書では、vSphereおよび ProLiantサーバーに精通した読者も対象としています。これらの製品の詳細については、

hp.com/jp/proLiantおよび hp.com/jp/vmwareを参照してください。

テクニカルホワイトペーパー | HP ProLiantサーバー向け VMware vSphere 5.1 SR-IOV導入ガイド 第 1版

3

SR-IOVの概要

SR-IOV機能を搭載したネットワークアダプターは、1つのポートごとに 1つの PF (Physical Function) と複数の VFと

いう構成になります。PFは、関連付けられた VFの管理と構成を行います。ホストサーバーでは、VMware ESXi管理

者が、定義された数の VFを表示するように PFを構成します。このプロセスは VFの列挙と呼ばれます。仮想マシン

の構成時には、列挙された VFをそれぞれ PCIデバイスとして選択することができます。ゲスト OSには、VFは単一

ポートのネットワークアダプターとして表示されます。各仮想マシン (VM) は一意の VFを使用する必要があり、複

数の VM間で VFを共有することはできません。

図 1は、2ポート、SR-IOV対応のネットワークアダプターにおける PF と VFの概念を示しています。

図 1: SR-IOV PFおよび VFの概念図

vSphere 5.1で SR-IOVの実装を計画する場合は、次に示す主要な制限事項を考慮する必要があります。これらの

制限事項については、本書の残りの部分でさらに詳しく説明します。

各 VFが、1つの PFに対して可能な帯域幅全体を使用する可能性があります。VFに対して帯域幅の優先順

位や保証を設定することはできません。このため、正しい実装を行うためには、次の関係性に注意すること

が非常に重要です。

– VFを使用する VMの決定

– VMが利用する PFの決定

vSwitchまたは Distributed vSwitchで使用するために、少なくとも 1つの PFを確保する必要があります。

SR-IOV用に PFを構成する場合、vSwitchの作成および構成において PFを選択することはできません。

VM用にネットワークの冗長性が必要な場合は、複数の VFを 1つの VMにアサインすることができます。冗長

性を実装するには、次の構成上の要件を厳守してください。

4

– PF全体に VFを拡散させること

– ゲスト OS内でネットワークアダプターのチーミングまたはボンディングを構成すること

ホストとネットワークアダプターのタイプによって、各 ESXiホストがサポートする VFの最大数が制限されてい

ます。VMへの提示用に各 ESXiホストで使用可能な VFの数は、相互に関連する次の 3つの要素によって定

義されます。

– ユーザーが構成する VFの数

ネットワークアダプターのデバイスドライバーのパラメーターによって、ポートごとに提示される VFの数が

定義されます。この値は、次に説明するほかの 2つの要素に対して定義される上限を超えてはいけませ

ん。

– ポートごとにサポートされる VFの数

各ネットワークアダプターには、ポートごとにサポートされる VF数の上限があります。例として、HP 560M

アダプターには 1ポートあたり 63の VF という制限があります。

– ホスト上で使用可能な割り込みベクター

VMwareでは、各 ESXiホスト上で 256の割り込みベクターが使用可能です。SR-IOVはこの 256の割り込

みベクターのうち、128を利用できます。VMに電源が投入され、ゲストOSの VFドライバーが起動すると、

割り込みベクターが消費されます。ネットワークアダプターとVFドライバーによって、VFごとの消費数は異

なります。さらに、システム上のほかのデバイスが多数の割り込みベクターを消費し、SR-IOVで使用でき

る数が減る場合もあります。詳細については、「SR-IOVの制限事項」を参照してください。

ホストごとにサポート可能な VFの最大数については、表 1を参照してください。

表 1: ESXiホスト 1台あたりの VFの最大数

ネットワークアダプター VFあたりの割り込みベクター ホストあたりの VFの最大数 ポートあたりの VFの最大数

HP 560シリーズ* 3 42 63

*HP 560シリーズとは、

560FLB、560M、560SFP+など、「560」から始まるインテル® 82599ベースのネットワークアダプターのことです。

SR-IOVの詳細については、vmware.com/jp/support/pubsより、

vSphere 5.1のドキュメントにある『vSphereネットワークガイド』の SR-IOVに関するセクションを参照してください。

SR-IOVは、PCIe (PCI Express) ネットワークアダプター帯域幅のパーティション化に向けた PCI-SIG (Peripheral

Component Interconnect Special Interest Group) 仕様に含まれています。SR-IOV標準と、この標準に対する業界

のサポート状況については、PCI-SIGのサイト pcisig.com (英語) を参照してください。

vSphere 5.1で推奨されるシステム構成

vSphere 5.1で SR-IOVを使用するためには、お使いのサーバーが次の要件を満たしている必要があります。

– SLAT (Second Level Address Translation) および IOMMU (I/O Memory Management Unit) テクノロジーを

有するプロセッサー。これらの要件を満たすには、Virtualization Technology (VT) VT-xおよび Extended

Page Tables (EPT) を含むインテル® 64アーキテクチャーを搭載したインテル® Xeon®プロセッサーを使用

します。

– VMwareでは、現在のところ、AMDベースのプラットフォームでは SR-IOVに対応していません。

vSphere 5.1の SR-IOVに対応したシステム ROM。

詳しくは「SR-IOVに対応した ProLiantサーバー」項を参照してください。

適切なファームウェアと対応するESXiネットワークデバイスドライバーを備えた、SR-IOV対応のネットワークア

ダプター。各 VMのゲスト OS内の VFのドライバーも、SR-IOVを認識する必要があります。

詳細については、「SR-IOV対応のネットワークアダプター」を参照してください。

テクニカルホワイトペーパー | HP ProLiantサーバー向け VMware vSphere 5.1 SR-IOV導入ガイド 第 1版

5

SR-IOV対応のネットワークアダプターは、10Gb Ethernetスイッチに接続する必要があります。

1Gbスイッチに接続した場合、VF列挙が正しく機能しないことがあります。

適切なゲスト OSバージョン。詳細については、

「サポートされるゲストオペレーティングシステムのバージョン」を参照してください。

ProLiantサーバーとサーバーオプションに対して HPが検証済みのデバイスドライバーを使用するために「HP

Customized ESXi Image」の利用を強くお勧めします。HP Customized ESXi Imageの詳細については、ホワイトペー

パー『HP ProLiantサーバーにおける VMware vSphere 5.0のインストールとアップデートインテグレーションノート』

(h50146.www5.hp.com/products/servers/proliant/whitepaper/wp148_1205c/) を参照してください。SR-IOVに必

要とされる最低限のリビジョンは次のとおりです。

HP Customized ESXi Image: vSphere 5.1で SR-IOVを利用するには、2013年 2月以降にリリースされたバージョンをご利用ください。

hp.com/go/esxidownload (英語) よりダウンロード可能です。

HP Service Pack for HP ProLiant (SPP): vSphere 5.1で SR-IOVを利用するには、バージョン 2013.02.0以降の SPPを利用し、

サーバーの各種ファームウェアをアップデートしてください。hp.com/jp/sppよりダウンロード可能です。

本書は、デバイス、サーバー、ゲスト OSのリビジョンが追加でサポートされた時点でアップデートし、サポートの変

更内容を反映していく予定です。

SR-IOVに対応した ProLiantサーバー

表 2は、SR-IOVに必要な HP ProLiantサーバーと最低限のシステム ROMバージョンを示したものです。

重要

SR-IOVには、ハードウェアとシステムROMの両方が対応している必要があります。SR-IOVを有効にするには、この

表に示す最低限のシステム ROMバージョンがサーバーに装備されている必要があります。SR-IOVの有効にする

前には、システム ROMのバージョンを確認し、必要に応じてアップデートしてください。

注記

HP ProLiant Gen8に搭載されている FlexibleLOMテクノロジーは、LOM (LAN-on-motherboard) であるオンボード

NICのタイプを選択することができます。

システム ROMのアップデートは SPPに含まれる HP Smart Update Manager (HP SUM) からの実施をお勧めしており

ます。hp.com/jp/sppまたは HPサポートセンターhp.com/jp/supportから入手ください。

表 2: SR-IOVをサポートする ProLiantサーバーと ROMバージョン

サーバープラットフォーム システム ROM ファミリ システム ROMバージョン

ProLiant BL ライン

BL420c Gen8 I30 12/13/2012以降

BL460c Gen8 I31 12/11/2012以降

BL660c Gen8 I32 12/11/2012以降

ProLiant DL ライン

DL360e Gen8 P73 12/11/2012以降

6

DL360p Gen8 P71 12/4/2012以降

DL380e Gen8 P73 12/11/2012以降

DL380p Gen8 P70 12/12/2012以降

DL560 Gen8 P77 12/5/2012以降

DL580 G7 P65 11/8/2012以降

DL980 G7 P66 30/7/2012以降

ProLiant ML ライン

ML350e Gen8 J02 12/13/2012以降

ML350p Gen8 P72 12/7/2012以降

ProLiant SL ライン

SL230s Gen8 P75 12/11/2012以降

SL250s Gen8 P75 12/11/2012以降

SL270s Gen8 P75 12/11/2012以降

SR-IOVに対応したネットワークアダプター

本書執筆時点、SR-IOVを実装するには、次のいずれかのネットワークアダプターを使用する必要があります。

HP Ethernet 10Gb 2ポート 560FLBアダプター:

インテル® 82599 コントローラーに基づくデュアルポートの 10Gb Ethernet FlexibleLOM メザニンアダプター。

560FLBは、HP ProLiant BladeSystem c-Class Gen8サーバーで使用するように設計されています。

このネットワークアダプターの詳細については、

h50146.www5.hp.com/products/servers/bladesystem/c/component/560flb/ を参照してください。

HP Ethernet 10Gb 2ポート 560Mアダプター:

インテル® 82599 コントローラーに基づくデュアルポートの 10Gb Ethernet メザニンアダプター。560Mは、HP

ProLiant BladeSystem c-Class Gen8サーバーで使用するように設計されています。

このネットワークアダプターの詳細については、

h50146.www5.hp.com/products/servers/bladesystem/c/component/560m/ を参照してください。

HP Ethernet 10Gb 2ポート 560SFP+アダプター:

インテル® 82599コントローラーに基づくスモールフォームファクタープラガブル (SFP+) アダプター。560SFP+

は、サポートされている HP ProLiant DL、ML、または SLの G7または Gen8サーバーで使用するように設計さ

れています。

このネットワークアダプターの詳細については、

h50146.www5.hp.com/products/servers/proliant/options/nic/nc560sfp/ を参照してください。

HP Ethernet 10Gb 2ポート 560FLR-SFP+アダプター:

インテル® 82599 コントローラーに基づくスモールフォームファクタープラガブル (SFP+) アダプター。

560FLR-SFP+は、サポートされている HP ProLiant DL Gen8サーバーで使用するように設計されています。

このネットワークアダプターの詳細については、

http://h50146.www5.hp.com/products/servers/proliant/options/nic/nc560flr/ を参照してください。

これらのネットワークアダプター用の ESXiデバイスドライバーは、HP Customized ESXi Image と vSphere 5.1用の

Auto Deployデポで提供されています。これらは hp.com/go/esxidownload (英語) からダウンロード可能です。HP

Customized ESXi Imageまたは Auto Deployデポを使用しない場合は、

hp.com/products/servers/software/vmware-esxi/driver_version.html (英語) からドライバーおよびユーティリティ

を直接ダウンロードしてください。

テクニカルホワイトペーパー | HP ProLiantサーバー向け VMware vSphere 5.1 SR-IOV導入ガイド 第 1版

7

各ゲスト OSには、ESXi ドライバーのほかに、VFに対応する適切なデバイスドライバーが含まれている必要があり

ます。VMware社は VFデバイスドライバーを提供しておりません。一部の OSには VFをサポートするドライバーが

付属している場合もありますが、HPでは、SPPで提供される VF ドライバーの使用を強く推奨しています。

SPP ISO イメージを hp.com/jp/sppからダウンロード後、その ISOイメージを VMに接続して、HP SUMよりインストー

ルとアップデート手順に従います。この手順については、『HP Smart Update Manager User Guide』 (hp.com/jp/spp)

を参照してください。

重要

HPは今後も SR-IOVへの対応を強化していく方針です。

対応機種につきましては、本書の原文である英語版の方が最新である場合がございます。

www2.hp.com/bc/docs/support/SupportManual/c03679850/c03679850.pdf (英語)

サポートされるゲストオペレーティングシステムのバージョン

本書執筆時点において、SR-IOVは次のゲスト OSを使用する VMに対してサポートされます。

Microsoft Windows Server 2012

Microsoft Windows Server 2008 R2 SP1

Red Hat Enterprise Linux 6.1 x64

SR-IOVの制限事項

SR-IOVの導入を計画する場合には、次に示すソリューション、構成、機能についての制限事項にご留意ください。

HPでは現時点で、バーチャルコネクト環境における SR-IOVのサポートは行っていません。

こちらは、近い将来にリリースされるバーチャルコネクトの新バージョンで対応する予定です。

各 ESXiホストには合計で 256の割り込みベクターがあり、このうち 128を VF用に使用できます。

ホストの起動時に、システム内のデバイスが 256の使用可能なベクターの一部を消費します。これらのデバ

イスが合計で 128を上回るベクターを必要とする場合、VF用にサポートされる最大数が少なくなります。

– インテル® 82599ベースのネットワークアダプターでは、各 VFが 3つの割り込みベクターを消費します。

つまり、128すべての割り込みベクターが使用可能なシステムでは、最大で 42の VF (128 / 3 = 42.6) が

サポートされます。VMに電源が投入され、ゲスト OSの VF ドライバーが起動すると、割り込みベクターが

消費されます。必要な数の割り込みベクターが使用可能でないシナリオでは、ゲスト OSがエラーメッセー

ジの表示もなく予期せずシャットダウンされます。

– 現在のところ、ホスト上で消費または使用可能な割り込みベクターの数を決定できるようにする方法はあ

りません。割り込みベクターの不足のために VM が正しく起動できない状態なのかどうかを確認するには、

vmkernel.logを表示して、次のエントリを検索してください。

WARNING:IntrVector:233: Out of interrupt vectors

PF上で VFを有効にした場合、SR-IOVで使用するためのネットワークアダプターを選択すると、そのポートイ

ンスタンスが非表示になります。この非表示の状態では、通常は各ネットワークアダプターポートに関連付け

られている仮想マシン NIC (vmnic) は、vSwitchを使用できません。

個々の VFに対する帯域幅割り当てを制限する方法はありません。

各 VFが利用可能な物理リンクの帯域すべてにアクセスできます。

VFが割り当てられている仮想マシンでは、次の機能はサポートされません。

– vMotion

– ストレージ vMotion

8

– 高可用性

– フォールトトレランス

– DRS

– DPM

– サスペンドと再開

– スナップショット

– VF上の MACベースの VLAN

– 仮想デバイス、メモリ、vCPUのホットアドとホットリムーブ

– vShield

– Netflow

– Virtual Wire

SR-IOVの有効化

図 2は、SR-IOVの有効化手順の概要を示しています。この手順は 1つのサーバーと 1つの VMを導入する場合の

もので、導入規模を拡張する場合は、追加の推奨事項が提示されます。この手順は、Auto Deploy環境やユー

ザーが独自に作成した ESXi ISO イメージには対応していません。これらのオプションの詳細については、ホワイト

ペーパー『HP ProLiantサーバーにおける VMware vSphere 5.0のインストールとアップデートインテグレーション

ノート』(h50146.www5.hp.com/products/servers/proliant/whitepaper/wp148_1205c/) を参照してください。

図 2: SR-IOVの有効化プロセス概要

準備

•SR-IOV対応のProLiantサーバーおよびNIC•HP Custom Image for ESXi 5.1•HP SPP Image•VMware vSphereクライアントまたはvSphere Webクライアントにアクセスできる管理ステーション•ストレージおよびネットワーク構成の実行

インストールと有効化

•SR-IOV互換のNICをサーバーにインストール•HP SPPを使用してシステムをアップデート•RBSU (ROM Based Setup Utility) でSR-IOV設定を有効化•HP Custom Imageを使用してESXi 5.1をインストール

構成

•SR-IOV用のPFデバイスドライバーの構成•PFからVFへのマッピングの決定•VMの作成とVFの割り当て•ゲストOSのインストール•HP SPPを使用してVMにVFデバイスドライバーをインストール•VFのネットワーク接続の確認

検証と導入規模の拡張

•VMテンプレートの作成/VMのクローン作成•ESXiホストプロファイルの作成•HP Scripting Toolkitの使用•追加のESXiホストの導入

テクニカルホワイトペーパー | HP ProLiantサーバー向け VMware vSphere 5.1 SR-IOV導入ガイド 第 1版

9

準備

SR-IOV機能を有効化するための準備として、

お使いのサーバーとコンポーネントが vSphere 5.1および SR-IOVをサポートしていることを確認します。

サーバーとネットワークアダプターが SR-IOVをサポートしていることを確認します。

「SR-IOVに対応した ProLiantサーバー」および「SR-IOVに対応したネットワークアダプター」項をご参照くださ

い。

サーバーの DVD ドライブまたは iLO仮想メディアが利用できることを確認します。HP ProLiant DLまたは ML

サーバーで iLO仮想メディアを使用する場合は、iLO Advanced Pack ライセンスキーを適用する必要がありま

す。

ドキュメント『HP ProLiant server and option firmware and driver support recipe』

(vibsdepot.hp.com/hpq/recipes/HP-VMware-Recipe.pdf) で推奨されているとおり、HP Customized ESXi

Image for vSphere 5.1および対応する SPP イメージをダウンロードします。

必要に応じて、ネットワークおよびストレージの構成を実行します

(ケーブル配線、VLAN構成、ストレージアレイアクセスなど)。

ESXi インストールの後にサーバーにアクセスするには、

VMware vSphere Clientまたは vSphere Web Clientにアクセスできる管理端末が必要です。

インストールと有効化

このセクションでは、SR-IOVを手動でインストールして有効化する手順について説明します。

自動インストールについては、本書の「複数システムへの配備」を参照してください。

インストールおよび有効化の手順は次のとおりです。

1. ESXi 5.1インストールをホストするストレージデバイス (USB、SD、ローカル HDDなど) をインストールして構成

します。

2. SR-IOV対応のネットワークアダプターをサーバーにインストールします。

3. SPP イメージを使用して、システム ROM とコンポーネントファームウェアをアップデートします。

4. HP RBSU (ROM-Based Setup Utility) を使用して、SR-IOV用のシステム ROM とネットワークアダプターの設定

を有効化します。システム ROM内で PCIeネットワークアダプターと SR-IOVを有効化するには、次の手順に従

います。

A. POST処理時にプロンプトが表示されたら、[F9]キーを押して RBSUを起動します。

注記

表示される選択肢の名前は、お使いのサーバーによって若干異なる可能性があります。

B. PCIeネットワークアダプターを有効化するには、次のオプションを選択します。

[System Options] → [Processor Options] → [Intel® Virtualization Technology]

[System Options] → [Processor Options] → [Intel® VT-d]

C. SR-IOVを有効化するには、次のオプションを選択します (図 3を参照)。

[Advanced Options] → [SR-IOV]

D. 変更を保存して、RBSUを終了します。

10

図 3: RBSUを使用した、システム ROMの SR-IOV有効化

5. HP Customized ESXi Image for vSphere 5.1を使用して ESXi 5.1をインストールします。

インストール時において SR-IOVを利用するための特別な設定はありません。

構成

ESXiをホストにインストールしましたら、VFを列挙して VMを構成します。

1. SR-IOVに使用するネットワークアダプターを決定します。いずれかのネットワークアダプターが vSwitchを使用

している場合は、vSwitchを除去するか、別のネットワークアダプターを vSwitchに割り当てます。SR-IOV用の

PFを構成すると、関連付けられた vmnicが、接続された vSwitchから除去されます。

2. esxcli コマンドまたはホストファイルのいずれかの方法で、SR-IOV用の PFデバイスドライバーを構成します。

- esxcli コマンド

esxcli コマンドで PFデバイスドライバーを構成するには、次のいずれかのインターフェイスを使用します。

vSphere CLI (コマンドラインインターフェイス)

SSH (Secure Shell)

ESXiシェル

次の例では、2ポートのインテル® 82599ベースのネットワークアダプター用に PFデバイスドライバーを構成

しています。それぞれのネットワークアダプターポート (または PF) は 20個の VFを列挙します。合計 40個

の VFがポート間に均等に分散されます。

# esxcli system module parameters set --module ixgbe

--parameter-string=max_vfs=20,20

次の例では、インテル® 82599ベースのネットワークアダプターで構成されたシステム上の 4つのポートに、

合計 30個の VFを分散することができます。最初の 2つの PFは 5個の VFを、3番目の PFはゼロ個の VF

を、4番目の PFは 20個の VFを列挙するように設定されています。VFの値がゼロに設定されている場合は、

テクニカルホワイトペーパー | HP ProLiantサーバー向け VMware vSphere 5.1 SR-IOV導入ガイド 第 1版

11

そのポートを SR-IOVには使用しないことを示しています。

# esxcli system module parameters set --module ixgbe

--parameter-string=max_vfs=5,5,0,20

注記

この例に示された esxcli コマンドは、SSHまたは VMware ESXi Shellに適しています。

vSphere CLIからも利用できますが、ターゲットの VMware ESXiホストなど、追加の接続パラメーターが必要です。

注記

現時点では、最初の PFに対する VF列挙値をゼロに設定してしまうと、VFを列挙する PFが存在しなくなることで問

題が発生します。この詳細については、巻末の「既知の問題と対応策」をご参照ください。

- ホストプロファイル

ホストプロファイルを使用して PFデバイスドライバーを構成する方法の詳細については、

vmware.com/jp/support/pubにある vSphere 5.1ドキュメント「vSphere ネットワークガイド」の SR-IOVに関す

るセクションを参照してください。

3. サーバーを再起動します。

4. パススルーに使用できるデバイスを表示することで、VFが想定どおりに有効化されていることを確認します。

A. vSphere Clientで、ESXiホストを選択します。

B. [Configuration]タブをクリックします。

C. [Hardware]セクションの下の[Advanced Settings]を選択します。

図 4に示すように VFが列挙されない場合は、構成に問題がある可能性があります。

この場合、必要なすべての変更を実行済みかどうか、システム構成が HPによってサポートされているかどうか

を確認してください。併せて「既知の問題と対応策」もご参照ください。

図 4: VF列挙の確認

12

PFから VFへのマッピングを決定します。

複数の PFで VFの列挙を行うように構成されている場合、vmnic と VFの関連付けを決定することを推奨しま

す。特に、ゲスト OSが冗長性確保のために、チーミングまたはボンディングを使用して複数の VFを VMに提

示している場合はこれに当てはまります。PFから VFへのマッピングを解決するには、vSphere CLI、SSH、また

は ESXiShellから次の esxcli コマンドを実行します。出力例については、図 5を参照してください。

A. SR-IOV用に構成されている vmnicをリストするには、次のコマンドを使用します。このコマンドの実行時

には、vmnicの番号をメモしておいてください。この出力に表示される PCIアドレスは、次のステップで VF

を VMに割り当てる際に必要になります。

#esxcli network sriovnic list

B. 各 vmnicに関連付けられている VFをリストするには、次のコマンドを使用します (この<x>は、必須の

vmnic番号です)。

#esxcli network sriovnic vf list .n vmnic<x>

図 5: PFから VFへのマッピングの決定

5. 新しい仮想マシンを作成し、そこに PCIデバイスを追加します。

この VMの PCIデバイスはそれぞれ一意の VF と関連付けられます。

VMに対して追加の VFが必要な場合は、図 6に示すように、必要に応じて PCIデバイスを追加します。

テクニカルホワイトペーパー | HP ProLiantサーバー向け VMware vSphere 5.1 SR-IOV導入ガイド 第 1版

13

図 6: VMに対する PCIデバイスの作成

PCIデバイスの追加を選択すると、選択可能な VFが表示されます (図 7参照)。

図 7: 接続する VFの選択

7. これで VMの構成は完了です。次に、サポートされているゲスト OSをインストールします。

8. ゲストOSをインストールしたら、SPP ISOイメージを VMに接続します。HP SUMを起動し、インストーラーのアッ

プデート手順を実行して、VFデバイスドライバーをインストールします。HP Smart Update Managerおよび SPP

の詳細については、hp.com/jp/sppを参照してください。

14

9. VFごとに一意の仮想 LAN (VLAN) 設定が必要な場合は、VMの構成ファイル (.vmx) を手動で変更する必要

があります。ファイルを編集する前に、必ず VMをシャットダウンしてください。

vmxを編集するには、SSHを使用してホストに接続するか、ESXiシェルを使用して直接ホストにアクセスしま

す。vmx ファイルの場所が不明な場合は、vSphere Clientを使用して VMプロパティを確認してください (図 8

参照)。

図 8: VMX ファイルの場所

テキストエディター「vi」を使用して、vmx ファイルを編集します。次の行を追加します。

pciPassthru<x>.defaultVlan = “<y>”

<x>の値は、値 0 (ゼロ) で始まる一意の数値で、VFが VMに関連付けられるたびに増分していきます。

<y>の値は、次のいずれかになります。

0 - VLAN タグ付きトラフィックを明示的に拒否します。

1～4095までの値です。指定された VLAN値についてタグ付きトラフィックを有効化します。

図 9は、VLAN ID 100を使用する、1つの VFが割り当てられた VMに対して必要な構成変更を示しています。

図 9:VMX ファイルの変更

10. リモートネットワークの場所にアクセスするか、外部の IPアドレスに pingを実行することで、ゲスト OS内の

ネットワーク接続を確認します。

テクニカルホワイトペーパー | HP ProLiantサーバー向け VMware vSphere 5.1 SR-IOV導入ガイド 第 1版

15

複数システムへの配備

SR-IOVを複数の ESXiホストに構成する場合、そのプロセスは時間がかかり、人的なエラーが発生しやすくなります。

時間の浪費やエラーの可能性を軽減するために、次のような方法が推奨されます。

VMテンプレートを作成し、VMのクローンを作成します。

vCenter Serverを使用して、以前作成した VMから VMテンプレートを作成します。VMのクローンを作成するこ

とで、VFデバイスドライバーを毎回手動で追加する必要がなくなり、ゲスト OSのインストール手順が自動化さ

れます。VMテンプレートを作成する前には、VMに関連付けられているすべての VFが削除されていることを

確認します。このステップを行わなかった場合、クローン作成されたVMがテンプレートと同じVFで構成される

ことになります。

ESXiホストプロファイルを使用します。

ホストプロファイルを使用することで、ESXiホスト構成をキャプチャーし、それを追加の ESXiホストに適用でき

ます。これによって、追加の ESXiホスト用に、ネットワークデバイスドライバー設定を手動で構成して SR-IOV

を有効化し、元の ESXiホストをミラーリングするために仮想スイッチとストレージ構成を適用する必要がなくな

ります。

HP Scripting Toolkitを使用することで、サーバーの BIOS設定、ストレージコントローラー構成、iLO構成を自

動化できます。HP Scripting Toolkitは Linuxおよび Windowsをサポートするように示されていますが、この

ツールキットを使用して ESXiのインストール前にサーバーの構成設定を適用することができます。

詳細については、hp.com/go/ProLiant/STK (英語) を参照してください。

16

トラブルシューティング

このセクションでは、SR-IOVの構成が想定どおりに機能しない場合の基本的なトラブルシューティングの手順につ

いて概説します。「既知の問題と対応策」に含まれる問題はここでは取り上げないため、そちらのセクションを参照

してください。

VFを有効化するためにネットワークデバイスドライバーのパラメーターを変更すると、VFが表示されなくなる場合は、

次の手順を実行してください。

PFドライバーのパラメーターが正しく設定されていることを確認します。SSHまたは ESXiシェルで次のコマンドを

実行し、VF設定が必要な値と一致していることを確認します。

# esxcli system module parameters list --module ixgbe | grep max_vfs

値が想定どおりに一致しない場合は、コマンドを実行して、「SR-IOV機能の有効化」で定義したようにパラメー

ターを設定し、サーバーを再起動します。

サーバーを再起動します。アップデートされたドライバーパラメーターを有効にするには、再起動が必要です。

再起動しないと、VFが列挙されません。

SR-IOVの有効化に問題が発生していないか、vmkernelログを確認します。SSHまたは ESXiシェルから次の

コマンドを実行し、出力内容を確認します。

# cat /var/log/vmkernel.log | grep SR-IOV .A 2 .B 2 | less

図 10に示したようなエントリがログ内に存在する場合は、必要な RBSU設定が適用されていないということです。

必要な RBSU設定の詳細については、「SR-IOV機能の有効化」を参照してください。

サーバープラットフォームが SR-IOVをサポートしていない場合も、これと同じ状態が発生する可能性があります。

SR-IOVをサポートする HP ProLiantサーバーは、「SR-IOVに対応した ProLiantサーバー」項を参照ください。

図 10: SR-IOVが有効化されていない、またはサポートされていない状態

必要なすべての手順の実行後、ゲスト OSでネットワークに接続できない場合は、次の手順を実行してください。

1. VFが VMに割り当てられていることを確認します。

vSphere Clientで、VMのプロパティを表示し、PCIデバイスに VFが割り当てられていることを確認します。

2. VFがゲスト OSに表示可能なことと、VFデバイスドライバーがインストール済みであることを確認します。

Windowsゲスト OSに提供されているトラブルシューティングの手順を以下に示します。Linuxゲスト OSの場合

は、ゲスト OS内のシェル/ターミナルで「ifconfig」および「lspci」を使用して、VFの可視性とドライバーのインス

トール状態を確認します。

Windowsゲスト OSでは、デバイスマネージャーを使用して VFが表示可能であることを確認します。

A. 図 11に示すように、VFが[Network Adapter]の下に一覧されている場合は、デバイスが表示可能で、適

切なデバイスドライバーがロードされています。この場合、VFの表示に問題はなく、ネットワーク構成に

よる問題の可能性があります。次のトラブルシューティングステップに進みます。

図 11に示した構成では、インテル® 82599ベースのネットワークアダプターと vmxnet3ネットワークアダ

プターから VFが表示されています。この場合 VMは、VFを含む PCIデバイスと従来の仮想ネットワーク

アダプターの両方に関連付けられています。vmxnet3ネットワークアダプターは、SR-IOV機能と相関しな

テクニカルホワイトペーパー | HP ProLiantサーバー向け VMware vSphere 5.1 SR-IOV導入ガイド 第 1版

17

い従来の仮想ネットワークアダプターと関連付けられています。

図 11: VFが構成済みで、デバイスドライバーもロード済み

B. 図 12に示すように、VFが[Other devices]の下に一覧されている場合、VFデバイスドライバーはインス

トールされていません。SPP ISOイメージを VMに接続し、HP SUMを使用してデバイスドライバーをインス

トールします。

図 12: VFが構成済みで、デバイスドライバーがインストールされていない

18

既知の問題と対応策

このセクションでは、vSphere 5.1 SR-IOVの有効化と ProLiantサーバーで発生する可能性のある問題について解

説します (表 3)。HPでは、すべての問題について解決に向けた取り組みを積極的に進めています。

表 3: vSphere 5.1 SR-IOVおよび ProLiantサーバーに関する既知の問題

最初の PFを 1つ以上の VFで構成しないと、VFが列挙されない。

概要 最初の PFの値を 0 (ゼロ) にして VF列挙パラメーターを定義した場合、以降の PFで VF

が列挙されません。例として、次のドライバー構成パラメーターを使用すると、この問題が

表面化します。

# esxcli system module parameters set --module ixgbe --parameter-string=max_vfs=0,10

対応策/解決方法 VFの列挙用に選択するPFを変更します。次の例に示すように、その他の PFでは 0 (ゼロ)

の値が受容されます。

# esxcli system module parameters set --module ixgbe --parameter-string=max_vfs=10,0

PFを 1Gbスイッチポートに接続すると、VFが列挙されない。

概要 PFを 1Gbスイッチポートに接続すると、VFが列挙されません。10Gb接続が必要です。

対応策/解決方法 PFを 10Gbスイッチポートに接続し、ESXiホストを再起動します。

起動後に、VMが自動的に電源オフになる。

概要 VFを構成した VMが、電源投入後すぐにシャットダウンします。この状況は、ホスト上で使

用可能なすべての割り込みベクターが消費されてしまった場合に見受けられます。VFが

接続された追加の VMを正しく起動させることができないためです。この問題の発生時に

は、vmkernel.logに次のエントリが記録されます。

WARNING:IntrVector:233: Out of interrupt vectors

対応策/解決方法 VMを再構成して VFを削除し、次のいずれかの手順を実行します。

VMを、SR-IOV用に構成されている別のホストに移動します。

VFが接続されている別の VMを電源オフにして、問題の発生している VMを再起動しま

す。

特定の ProLiantサーバーでは、すべての PCIeスロットで SR-IOVに必要な機能が提供されない。

概要 次に示すサーバーについて、ここに記された PCIeスロットでは、

ACS (Access Control Services) 機能と ARI (Alternative Requester ID Interpretation) 機能を

サポートしていません。高度な SR-IOV機能が必要な場合は、次に示すスロットで SR-IOV

を使用するように PCIeネットワークアダプターをインストールしないでください。

HP ProLiant DL360e Gen8 Server: スロット 2

HP ProLiant DL380e Gen8 Server: スロット 4

HP ProLiant DL380p Gen8 Server: スロット 3

HP ProLiant DL560 Gen8 Server: スロット 3

HP ProLiant ML350e Gen8 Server: スロット 5およびスロット 6

HP ProLiant ML350p Gen8 Server: スロット 5

対応策/解決方法 ネットワークアダプターには、サーバー上の別のスロットを使用します。

テクニカルホワイトペーパー | HP ProLiantサーバー向け VMware vSphere 5.1 SR-IOV導入ガイド 第 1版

参考資料、連絡先、その他のリンク

HP VMwareホームページ hp.com/jp/vmware

HP Custom ESXi Images hp.com/go/esxidownload (英語)

HP Online Depot for VMware vibsdepot.hp.com (英語)

HP Service Pack for ProLiant hp.com/jp/spp

HP Ethernet 10Gb 2ポート 560FLBアダプター h50146.www5.hp.com/products/servers/bladesystem/c/component/560flb/

HP Ethernet 10Gb 2ポート 560SFP+アダプター

h50146.www5.hp.com/products/servers/bladesystem/c/component/560m/

HP Ethernet 10Gb 2ポート 560Mアダプター

h50146.www5.hp.com/products/servers/proliant/options/nic/nc560sfp/

HP Ethernet 10Gb 2ポート 560FLR-SFP+アダプター h50146.www5.hp.com/products/servers/proliant/options/nic/nc560flr/

HP ProLiantテクノロジーホワイトペーパー h50146.www5.hp.com/products/servers/proliant/whitepaper/

HP ProLiantサーバーにおける VMware vSphere 5.0のインストールとアップデートインテグレーションノート

h50146.www5.hp.com/products/servers/proliant/whitepaper/wp148_1205c/

メールニュース配信登録 hp.com/go/getconnectedjp 同僚と共有 このドキュメントを評価

© 2013 Hewlett-Packard Development Company, L.P. 本書の内容は、将来予告なく変更されることがあります。HP製品およびサービスに対する保証

については、当該製品およびサービスの保証規定書に記載されています。本書のいかなる内容も、新たな保証を追加するものではありません。本書

の内容につきましては万全を期しておりますが、本書中の技術的あるいは校正上の誤り、省略に対しては責任を負いかねますのでご了承ください。

MicrosoftおよびWindowsは、米国におけるMicrosoft Corporationの登録商標です。インテル®およびインテル®Xeonは、米国および米国以外の国に

おける Intel Corporationの商標です。AMDは、Advanced Micro Devices, Inc.の商標です。

TC1302954、2013年 3月