仮想化技術の通信サービスへの適用 - Fujitsu · 仮想化技術の通信サービスへの適用 ソースを一元的にプール管理し，サービス提供者...

FUJITSU. 63, 6, p. 640-645 （11, 2012）640

あ ら ま し

2011年の東日本大震災では，移動通信ネットワークの通信量が通常の最繁時の50～60倍と爆発的に集中したことにより，システムが輻

ふくそう

輳しユーザに対して安定的にサービ

スを提供することが困難な状態となった。

富士通では，災害時などにおけるシステム輻輳時にも安定的なサービス供給を実現す

るため，仮想化技術を活用して通信サービスのマシンリソースを柔軟かつ迅速に割り当

てる制御技術の研究開発に取り組んでいる。これにより，動画配信，リッチコンテンツ

などの災害時には非優先とされるサービスのリソースを削減し，音声通信，メールなど

の安否確認や情報収集を目的とした優先サービスのリソースに割当てを行うことで，優

先サービスの疎通率を向上させることが期待できる。

本稿では，富士通における通信サービスのサーバ仮想化基盤のシステム化に向けた取

組みについて紹介する。

Abstract

Just after the Great East Japan Earthquake, a huge volume of mobile traffic was generated, approximately 50 to 60 times the usual amount. The communication network was heavily congested and many people had trouble confirming the safety of their friends and relations. Meanwhile, server virtualization technology is advancing quickly. Applying this technology to communication service infrastructure could realize prioritized service resources for voice, mail and emergency message boards. And these could be increased on demand by reducing non-prioritized ones, such as those for motion picture distribution, with less impact on service cost. This paper reports a Fujitsu study on server virtualization infrastructure for communication services.

● 村合正明　　　● 降矢龍浩　　　● 今井隆士　　　● 木村昇一

仮想化技術の通信サービスへの適用

Application of Server Virtualization Technology for CommunicationServices

FUJITSU. 63, 6 （11, 2012） 641

仮想化技術の通信サービスへの適用

ソースを一元的にプール管理し，サービス提供者に対して，インフラ設計の簡易化，仮想マシンリソース増減のオンデマンド性，環境構築作業の進捗状況，環境構築後の稼働状態を可視化する機能などを備えたインフラの管理・運用を支援するマネジメント基盤である（図-1）。IaaSの特徴を以下に紹介する。（2）

（1） インフラ設計の簡易化テンプレート選択などにより，目的に合わせた構成をユーザが選択することでインフラ設計における作業時間を短縮，パラメータの設定漏れや定義ミスを防止することでユーザ負担の軽減を実現している。（2） オンデマンドなリソースの払出し仮想マシンリソース（CPU，メモリ，ディスク）をあらかじめ複数のリソースパターンで用意，単純化しておくことで，リソース配備実行までの時間を短縮している。（3） リソース使用状況の見える化ダッシュボード画面などを通じて，リソースの利用状況（CPU/メモリ/ディスク使用量など）や，リソースプールの使用状況を確認することができる。

IaaSの通信サービス適用の課題

IaaSは，低コストでサービスを提供するために，システム構築の単純化，および仮想化技術を用い

IaaSの通信サービス適用の課題

ま　え　が　き

2011年の東日本大震災では，携帯電話の音声通信量が通常の最繁時の50～ 60倍と爆発的に発生し，広域，大規模かつ長時間にわたる未曾有の通信混雑（輻

ふくそう

輳）が発生した。このような突発的な通信要求時にも，通信サービスを安定的に提供できるよう改善が求められている。（1）

富士通は，総務省プロジェクト「大規模災害時における移動通信ネットワーク動的通信制御技術の研究開発」において，仮想化技術を活用し，通信サービスのマシンリソースを柔軟かつ迅速に割り当てる制御技術の研究開発に取り組んでいる。これにより，動画配信，リッチコンテンツなどの災害時には非優先とされるサービスのリソースを削減し，音声通信，メールなどの安否確認や情報収集を目的とした優先サービスのリソースに割当てを行うことで，優先サービスの疎通率を向上させることが期待できる。本稿では，通信サービスにおけるサーバ仮想化基盤のシステム化に向けた取組みについて紹介する。

IaaSの特徴

一般に仮想マシンリソースの管理運用技術には，仮想化技術をベースとしたIaaS（Infrastructure as a Service）が存在する。IaaSは，仮想マシンリ

ま　え　が　き

IaaSの特徴

図-1　IaaSの概要

ハードウェアリソース

テンプレートによる システム構成選択

IaaS基盤

仮想リソース化

リソースの型決め/パターン化

…

パターンA パターンB パターンC リソース払出し

リソース利用状況，プール使用状況の可視化

リソースプール

サービス提供者

FUJITSU. 63, 6 （11, 2012）642

仮想化技術の通信サービスへの適用

（3） 無中断保守運用への対応通信サービスシステムは，24時間365日サービス無中断であることが求められる。このため，ハードウェアの交換，保守・メンテナンス業務においてもサービスを継続した状態で実施できなければならない。これまでのハードウェア交換，保守・メンテナンスは，冗長化構成を前提とし，メンテナンス対象のサーバを切り離して作業を行う。この間は片系運用となってしまい，障害耐性が一時的に低下する。

IaaSにおけるハードウェア交換，保守・メンテナンスは，「ライブマイグレーション」によって仮想マシン上のメモリの同一性を保証しつつ，ほかの物理サーバに移動して行う。メモリの同一性の保証は，移動元の仮想マシンと移動先の仮想マシンのメモリの差分情報を定期的に転送することで行う。しかし，通信サービスは高いリアルタイム性の実現を目的に，オンメモリで処理することを基本設計としている。また，通信サービス用の1サーバに求められる処理性能は10万BHCA（注）程度であり，約300信号/秒を処理することが必要となる。よって，高い頻度でメモリの更新が発生することから，通常のライブマイグレーション処理では一定時間内にメモリ転送が完了せず，ライブマイグレーションが異常終了する可能性が高い。このような理由により，ハードウェア交換，保守・メンテナンスには，ライブマイグレーションを利用せずに別の方式を検討する必要がある。

通信SaaS基盤への取組み

通信SaaS（Software as a Service）基盤は，IaaSをベースに通信サービスに要求される高いリアルタイム性，可用性，信頼性を実現するために必要なリソースの管理運用機能を提供するものである。通信SaaS基盤は以下の二つの機能コンポーネントで実現される。（1） 通信サービスが必要とするリソース条件の管理（2） 指定条件に適したリソースの払出しを実現するリソース稼働情報管理通信SaaS基盤の概要を図-2に示す。図中①のリソースコーディネータは，通信サービスが必要と

（注） Busy Hour Call Attemptsの略。1日のうちで電話網が最も混雑する時間帯に回線呼出しされた回数。

通信SaaS基盤への取組み

た物理リソースの利用効率化を目的としている。一方，通信サービスは，社会や経済活動を支える重要なライフラインとして欠かせないものとなっているため，通常のWebサービスなどよりも，高いサービス品質と可用性が求められている。IaaSの通信サービス適用に関する課題を以下に示す。（1） 仮想マシンの性能保証

IaaSでは複数の仮想マシンに対して物理リソースをシェアさせることで物理マシンリソースの利用効率を向上させる。代表的な例がCPUリソースである。しかし，CPUをシェアすることによって，シェアしている仮想マシン間で，一つの仮想マシンが予想した以上の負荷に見舞われた場合に，ほかの仮想マシンが使用できるリソースを奪ってしまい，仮想マシンの性能を阻害する問題が発生する。この対策として，CPUコアのシェアする割合を指定し，割合に従って仮想マシンにCPUを割り当てる時間を制御する方式がある。しかし，この対策においても仮想マシン間のタスク切替えなどによるオーバヘッドが影響し，それぞれの仮想マシンにおいて，期待する性能が出ない場合がある。これに対し，通信サービスは高い通信品質（3）（パケット遅延時間≦70 ms，呼損率≦0.1％）を保証する必要がある。そのため，払い出されるリソースは，シェアによるCPUタスク切替えのオーバヘッドや，ほかの仮想マシンとのリソースの競合を回避し，確実に性能を保証できることが必要となる。（2） 可用性を向上させるリソースの払出し

IaaSは不特定多数のユーザに安価でインフラを提供するために，リソース利用効率を最優先に考えてリソースの払出しを行っている。したがって，リソースを払い出す際の仮想マシンを配置する物理マシンは空きリソースが多いという条件で選択する。一方，通信サービスは平均99.9999％（年間障害時間30秒）と高い稼働率が求められており，これを実現するためには，あらゆる障害に対してシングルポイントオブフェイラー（単一障害点）を作らないようにする必要がある。例えば，複数の仮想マシンで一つのシステムを組む場合には，電源や物理サーバ，シャーシといったものの故障に対して，冗長構成を取るなど，物理マシンと仮想マシンの対応関係にも配慮が必要である。

FUJITSU. 63, 6 （11, 2012） 643

仮想化技術の通信サービスへの適用

するリソース条件を管理し，通信サービスシステムを構築する際に，通信サービスの特性に合わせたリソース条件を決定し，リソースプール管理に対してリソースの払出し要求を行う。図中②のリソースプール管理では，リソースコーディネータからのリソース払出しの要求を受け，その時点でのリソース稼働情報から適切な条件のリソースを抽出して払出しを行う。前章で述べた「IaaSの通信サービス適用の課題」に対し，通信SaaS基盤は，通信サービスの仮想化適用要件を満たすための以下の特徴を持つ。（1） 占有的なリソースの割付け通信SaaS基盤は，通信性能を保証できるような払出しを実現するために，仮想マシンに対して物理的なCPUコアおよびNIC（Network Interface Card）を占有的に割り付けることを可能とする。すなわち，リソースプール管理で物理リソースの割当て状態を管理し，リソースコーディネータからの占有，またはシェアによる割当てを指定することで適切なリソースの払出しを行う。このような対処を行うことで，物理リソースの仮想マシンへの割当て粒度は低下するが，仮想マシン間のリソース競合が排除され，予想どおりの処理能力の発揮が期待できる。また，リソース割当て粒度の低下は，通信サービスノード単体に要求される処理能力が比較的大きいので問題とはならない。

（2） 可用性向上を意識した仮想マシンの配置通信SaaS基盤では，通信サービスの特性に応じた物理サーバの構成を指定して仮想マシンを構築することを可能とする。具体的には，物理サーバの構成（搭載ラックやシャーシの情報）や電源の冗長系統の情報をリソースプール管理で管理し，リソースコーディネータから指定される仮想マシンの物理リソース配置条件に従って，より高い可用性の提供が可能な仮想マシン配置を決定する。例えば，冗長構成を組む仮想マシンの配置の際には，別の電源系統や別のシャーシを選択させることで，電源やハードウェアの故障に対して耐障害性の高いシステムの構築を可能とする。（3） 通信サービスに対応した仮想マシン移動機能通信サービスに対応した仮想マシン移動を実現するため，ハイパーバイザーで用意されたライブマイグレーションを利用せずに独自の仮想マシン移動機能を提供する。通信SaaS基盤による仮想マシン移動方式を図-3に示す。通信SaaS基盤でセッション制御信号の振分け機能を提供し，仮想マシンの移動の際には，移動先の仮想マシンを構築した上で，継続中のセッション信号は移動元の仮想マシンに振り分け，新規のセッションを開始する信号は移動先の仮想マシンへ転送する。このような信号の振分けを行い，移動元で継続中のセッションが全て終了した時点で移動元の仮想マシンを停

図-2　通信SaaSの概要

通信SaaS

②リソースプール管理①リソースコーディネータサービス追加

物理サーバA

物理サーバB

仮想マシン

アプリA（ミドル含む）

ゲストOS

仮想マシン

アプリB（ミドル含む）

ゲストOS

通信サービスのリソース条件管理

リソース割当て状態管理物理サーバ配置構成管理

サービス提供者

システム構築

シャーシシャーシ シャーシシャーシ

物理

サーバ

物理

サーバ

物理

サーバ

物理

サーバ

物理

サーバ

物理

サーバ

ラックラック

電源 電源

CPU NIC

CPU NICCPU NICCPU NIC

メモリ Disk

CPU NIC

CPU NICCPU NICCPU NIC

メモリ Disk

物理サーバ配置構成 リソース割当て状態

リソース払出しインタフェース

NIC：Network Interface Card

FUJITSU. 63, 6 （11, 2012）644

仮想化技術の通信サービスへの適用

できなくなる場合がある。（2） 拠点間連携による高可用性制御拠点被災などの大規模災害を想定した場合，拠点間にまたがったシステムの冗長化は，業務継続，業務再開スピードの視点から有効な対策である。実現に向けては，冗長構成を組むシステム間で切替えを行う際に，切替え前と切替え後で，システムの状態，あるいはデータ整合がどこまでの精度で実現されるかが重要である。可用性を上げるためには，運用系から待機系へのデータ内容の同期が完了するまでの時間を短縮することが必要である。しかし，同期の対象となるデータ量や同期を行う頻度，待機系の数や待機系を設置する場所によっては，同期を行うための処理オーバヘッドが増加してかえって可用性を低下させる恐れもある。今後は，このような複数拠点をまたいだ課題についても検討していく予定である。

む　　す　　び

東日本大震災の体験から，国民の災害への意識は高まっている。災害時のライフラインとして通信サービスは重要な役割を担い，サービスの安定的な提供が必要である。著者らは，このような要件に対し，本技術が有効な手段の一つと捉えている。今後は，実用も見据え，通信サービスの新しい運用モデルとして確立したいと考えている。なお，本技術は，総務省の「情報通信ネットワー

む　　す　　び

止し，仮想マシンの移動を確実に終了させる。

通信SaaSの今後の課題

上述の取組みは，一つの拠点，または一つのデータセンター内を対象とした検討であり，拠点施設・データセンターの全壊や，ある拠点のリソースが集中的に逼

ひっぱく

迫するような事態の考慮はしていない。しかし，通信混雑が発生した際，通信混雑が発生している拠点の通信処理を，処理能力に余力があるほかの拠点のリソースを融通して処理することが可能になれば，より効果的に通信混雑を解消させ，安定運用が可能になる。このような理由により，拠点をまたいだ通信SaaS基盤への拡張を図っていくことが今後の課題である。その実現に向けては，以下のような課題の解決が必要になると考えている。（1） 拠点間連携による仮想マシンリソース選定拠点間にまたがって通信サービスのリソースを融通し，サービスの増強を可能にする際には，拠点間の伝送距離が伸び，通信遅延が長くなるため，他拠点にあるサーバリソースは，物理性能が同等であったとしても，同じ拠点にあるリソースと同一の性能を期待できない場合がある。また，ネットワークの障害やトラフィックの集中状況などにより，そのリソース間の通信性能（遅延，帯域，パケットロスレートなど）は常に変動する。この変動により，当初，想定したリソース性能を保証

通信SaaSの今後の課題

図-3　通信SaaS基盤による仮想マシン移動方式

呼（セッション）振分け

物理サーバA（メンテナンス対象） 物理サーバB

仮想マシン（移動元）

アプリ

ゲストOS

仮想マシン（移動先）

アプリ

ゲストOS

既存呼信号振分け 新規呼信号振分け

既存呼が全て終了した時点で仮想マシンを停止する

仮想マシンの移動時，以下の振分けを行う移動先の仮想マシン：新規呼の信号移動元の仮想マシン：既存呼の信号

仮想マシン移動

FUJITSU. 63, 6 （11, 2012） 645

仮想化技術の通信サービスへの適用

クの耐災害性強化のための研究開発」（平成23年度一般会計補正予算（第3号））による委託を受けて実施した研究開発による成果である。本研究開発は，東北大学キャンパス内に実際の移動通信システムを擬似したテストベッドを構築中であり，このテストベッドを用いて，実際の運用上の課題検証を行っていく予定である。

村合正明（むらあい　まさあき）

共通開発本部ソフトウェア方式統括部 所属現在，サーバの仮想化技術，および通信サービス向けクラウド管理ソフトウェアの開発に従事。

今井隆士（いまい　たかし）

共通開発本部第二ソフトウェア開発統括部 所属現在，サーバ仮想化技術の開発，および仮想化基盤との連携ソフトウェアの開発に従事。

著 者 紹 介

降矢龍浩（ふるや　たつひろ）

共通開発本部ソフトウェア方式統括部 所属現在，サーバの仮想化技術，および通信サービス向けクラウド管理ソフトウェアの開発に従事。

木村昇一（きむら　しょういち）

共通開発本部第二ソフトウェア開発統括部 所属現在，サーバ仮想化技術の開発，および仮想化基盤との連携ソフトウェアの開発に従事。

参 考 文 献

（1） 総務省：平成23年版 情報通信白書 第1部 東日本大震災における情報通信の状況．

http://www.soumu.go.jp/johotsusintokei/whitepaper/ ja/h23/pdf/23honpen.pdf（2） 田島正人ほか：パブリッククラウドにおけるPFUの取組み．PFU TECHNICAL REVIEW，Vol.22，No.2，p.1-5（2011）．

（3） 土屋利明：NGNにおける品質基準と制御．NTT技術ジャーナル，Vol.20，No.6，p.30-31（2008）．