サービス提供者のエンジニアリングデザイン · インターネットサービスの特徴（1／2）インターネットサービスプロバイダとは...

サービス提供者のエンジニアリングデザイン

（株）IIJイノベーションインスティテュート　　　　　　　　　　　　　　　　浅羽　登志也

Copyright © 2012 IIJ Innovation Institute Inc.

アジェンダ

  エンジニアリングデザインとは   言葉の定義

  インターネットサービス特徴   どんなデザインが必要なのか？   デザインの実例

  ネットワーク、サービスシステム、ファシリティ   運用、監視

  どうすれば能力が高まるのか


エンジニアリングデザインとは

  Engineering   〔自然科学の応用分野の〕工学、エンジニアリング◆自然科学や数学を、人間の役に立つ実用的な分野（建築、設計、土木、機械、製造など）に応用したもの。

  〔エンジニアの〕職業、仕事、作業

  〔巧妙なまたは裏の〕たくらみ、画策、工作

建設、設計、土木、機械、製造、情報処理、通信などの工学を実用化する為の、機械や装置やプロセスの、部品や要素の配置や構造を決め、設計したり計画を立てたり、様式や型を作ったりする事

  Design  〔製造物や建造物の〕下絵、略図、見取り図、設計図

  〔部品などの〕配置、構造   設計［デザイン］技法［すること］

  図柄、模様、デザイン、意匠

  〔基本的な〕様式、型

  案、計画、企画

  意図、ねらい

  《designs》たくらみ、陰謀

www.alc.co.jpより


インターネットサービスの特徴（１／２）

  インターネットサービスプロバイダとは   インターネットを介してユーザの通信を媒介する事業者

  インターネット接続サービス   他のユーザとの通信の提供

  ハウジングサービス   コンテンツや情報サービスへのアクセスの提供

  通信路の提供だけではなく、ユーザのコンテンツやサービスのホスティングサービスの提供も含む

  ユーザのソフトウェアを預かり、インターネット上でのサービス提供を代行する   ユーザの情報を預かり、インターネット上での配布を代行する

  提供するのは物ではなく、「サービス」   サービスを提供するための基盤設備の構築と運用

  多くのユーザが共用利用する設備   ネットワーク、サーバ

  サービスの構築と運用   サービス特有のソフトウエアやコンテンツ


インターネットサービスの特徴（２／２）

  サービス設備の提供者 - 多種多様な事業者の集合体   バックボーン事業者   アクセス事業者   IX(インターネットエクスチェンジ)事業者   データセンタ事業者   クラウド事業者   ASP   コンテンツ事業者   全てが構造の無いIP(Internet Protocol)で相互に繋がっている

  運用はグローバルな自律分散型運用   サービスネットワークの全体は、上記の多くの事業者が相互接続し、相互に協調しながら動いている

  サービスが日本国内閉じることは稀で、世界中の多種多様な事業者が繋がっている

  サービスはエンドツーエンド   インターネット上のシステム同士がダイレクトに通信する


デザインのポイント

 実用に耐えるとは、動けば良いという事ではない  サービスが一定の品質で、持続的に提供されねばならない  要件

  Scalability   流量、処理量が増加しても機能し続ける事   ある一まとまりの機能ごとにスケールアップ、スケールアウトが可能な事

  Availability   一部のコンポーネントに障害が発生してもサービスが停止しないこと   Single point of failureを無くす   設備の二重化とバックアップ

  Cost Effectiveness   出来る限りコスト最適化を図ること   部分最適ではなく、全体最適を図るべく冗長な部分を省く   コストの高い処理への不要な処理の流入を減らす


ネットワークデザインの基本形

  スター型   トラフィックソースを中心にスター状に回線を引く   Pros: 回線数は少ない   Cons: トラフィックは中心のノードに集中

  リング型   全てのノードが輪になるように回線を引く   Pros: ２つのノード間に必ず複数経路が存在する   Cons: 経由するリンク数が大きくなる

  メッシュ型   全ノード間を繋ぐように回線を引く   Pros: どの2点間も最短経路で通信が可能   Cons: 回線数が多い


IIJのバックボーンネットワークトポロジー

  ３つの基本形の組み合わせ   いくつかの地域をまとめる複数のリング型に

  リングの接続点にトラフィック源を置き、そこからスター型に

  トラフィックの多い拠点間は直接リンクを張りメッシュ型に

  ダブルスター型   東京、大阪に二大ノード   そこから周辺地域へスター型   スターの先同士を繋いで小さなリングを複数作る


冗長構成の最適化

  ネットワークの冗長化   任意の２ノード間の流量を１とする   IPレイヤ

  リング構成で、どこかのリンクが切れても反対周りで全てのリンク同士が繋がる

  障害時にも容量不足にならないよう、容量２の回線を調達する

  専用回線レイヤ   予備帯域が確保され、障害時には予備帯域に自動的に切り替わる

  予備帯域に切り替わっても、容量不足にならないように、現用帯域２に対して，予備帯域が２の合計４確保される（回線の構成次第）。

  全体最適   回線レイヤの冗長性をなくし、IPレイヤの冗長構成のみとする

  回線提供者との交渉

予備帯域：容量２

現用帯域：　容量２

現用帯域：　容量２


ノードの中　– 顧客収容

  bb0/bb1で他のPOPやDCと接続   回線とルータの二重化

  aggr0/aggr1で顧客トラフィックを集約   サービスホスト用、DC顧客用、IP顧客用それぞれに対してaggregateルータを分離

  pe0/pe1はDC各フロアに張り出し、フロア内顧客トラフィックを集約   peルータあたりの顧客数を決める

  運用のしやすさ、増設のしやすさ

  顧客数によってはlsw0/1張り出す   ノードの規模、ユーザ収容数によって、aggregate routerとpe routerを一つに集約するなど調整する

10G

1G

1G or 100M

bb0 bb1

aggr0 aggr1

pe0 pe1

User0 User1

lsw０ lsw１

Backbone

HSRP

HSRP

Backbone Router

Aggregate Router

PE Router

L2 SW

顧客設備

ISP 設備

  トラフィックの階層化   シングルポイントの排除   拡張性の確保


IXでの相互接続

  IX事業者   ISP同士を相互接続する事業者

  複数ビル間を結ぶL2ネットワーク

  L2での冗長構成   ISPはどのISPと接続を持つかをポリシーに従って決める

  ISP間の相互接続   ISPは複数IXに接続   他のISPとは複数経路を確保

  トラフィックが多いところとは直接回線を持ち相互接続する

ビルＡビルＢ

１０Ｇ

１Ｇ

１０Ｇ

１Ｇ

１０ＧxN

１０ＧxN

ISP

ISP

ISP

ISP

ISP

IX事業者 L2網

ISP

Copyright © 2012 IIJ Innovation Institute Inc.12

事業者をまたがる接続の管理

コンテンツ

エンドツーエンドの品質・信頼性は、経由する各プロバイダの品質・信頼性に依存する


メールサーバの構成例

  機能によるステージ化   新たな機能を容易に追加可能   不要な処理を後段に持ち込まない

  同一機能でのスケールアップ・スケールアウト   機能単位での増設が可能

  全てのコンポーネントを二重化   シングルポイントの排除

mxー

mxmx

ErrorError

mxmxDNS

Anti SpamAnti

SpamAnti SpamAnti

Spam

Anti VirusAnti

VirusAnti VirusAnti

Virus

Mail Box Mail

Box Mail Box Mail

Box

Anti Spam隔離

送信ドメイン認証

メールスプール

エラーメール返信

メール受信受取手の存在確認流量制限


ファシリティの進化・IT機器との融合

要件大量のIT機器を、低コスト、タイムリーに収容・運用するためには・・

実現方法

１.リソース収容の効率化限られたスペースの中で、大量のリソースを効率的に収容

４.環境対策リソース拡大に伴う、消費電力量の増大への対応

２.リソースデプロイメントの容易化 IT機器の利用単位の増大（1ユーザ・1システムに必要なサーバ台数は数十台から数千台に）

３.拡張性、迅速性、柔軟性、低コスト　大量のリソースを早く、安く提供

Density：高密度化ラックあたりの消費電力量の拡張冷却能力の増大

Energy Saving：省エネルギー化・自然環境利用による空調利用電力の削減・省電力IT機器の利用（省エネサーバ等）・電力ロスの極小化（高効率UPS、低配電ロスの実現）・自然エネルギー（太陽光、風力等）の利用

Modularity：モジュール化・大量のサーバのモジュール化による効果・デプロイメントが容易・短期間に必要数量の増設が可能・モジュール単位での設備更新により、新技術などに柔軟に対応・基本部分をモジュール化し、最低限必要な部分のみを建築物とすることによりコストを低減

電力設備、空調設備など、IT機器以外をモジュール化することにより上記効果を拡大

高密度化、モジュール化、省エネルギー化によるクラウドインフラとしてのデータセンターを構築

クラウドコンピューティングの台頭によるファシリティへの要求の変化


ビル型データセンタからモジュール型データセンタへ

冬期の冷たく乾燥した外気を排熱と混合、適切な温湿度にして供給

冷却機を稼働させる、通常のデータセンターと同じ仕組み

外気をそのまま供給、排熱は全て排気

動作概要

  データセンタのモジュール化   過般型のコンテナ   コンテナ工場から、サーバ工場へ輸送され、中身を詰め込んでから現地に運搬可能

  空調もモジュール化   データセンタパーク

  建設期間の短縮   コンテナ単位での拡張性の確保

  外気導入型空調   環境状況と連動   低消費電力

・一般的なDCと同等の内部スペース、多様なIT機器を収容可能

・トレーラー輸送

・傾斜ラックによる省スペース設計、一般的なDC向けIT機器を収容可能

・大型トラック輸送

IZmo W IZmo S


稼働監視　– 重要なエンジニアリングデザインの一部

 サービスのモニタリング   デザイン通りに稼働しているかどうかの監視   24時間x365日の監視体制   さまざまなレイヤの流量、処理量などを数値化し継続的にモニタリング

  各コンポーネントの出入力流量、バランス

 何を知りたいのか   長期のトレンド把握

  容量が足らなくなるコンポーネントを早期に特定し、設備増設対応を実施

  短期の異常検出   通常値を逸脱した異常値を、閾値を設けて障害の予測・検出を行い、早期対応を実施

  デザインへのフィードバック


運用体制

  運用体制の構築   24h x 365dの体制構築

  稼働状況の把握   必要なオペレーションの発動

  業務のステージングによるエスカレーション体制   監視オペレータ

  機器、コンポーネント単位の監視と定型オペレーション   運用エンジニア

  ネットワーク、システムレベルでの判断の必要なオペレーション   セキュリティ対応チーム

  インシデントへの対応   輪番制による交替勤務

  常時対応可能、持続的に対応可能な体制作り   標準化

  定型業務のマニュアル化／ノウハウ化   障害レビュー／ミスの起こりにくいルール・手順作り

  相互連絡体制の構築   他事業者のオペレータとのチャネル作り   ネットワークやシステムを繋ぐ前に、人を繋ぐ


能力を高めるには？

  一連のプロセスを理解する   サービスを提供する機能の分節化・ステージ化

  サービスを提供するとは、何をする事なのかをブレークダウンして考える   何か一つの分野をまずはしっかりとマスターする

  ネットワーク、システム、アプリケーション、ファシリティ‥何でも良いから経験を積む

  他の分野のシステムや業務も広く見る   考え方は全てに共通している

  境界を外すために多様な視点を持つ   ブラックボックスを無くす／思い込みを無くす

  他社／他部門の提供するものの中身まできちんと理解する   回線、システム、ソフトウェア、サービス、運用‥

  全体最適を考える視点を持つ   全体を構成するパーツの中で、どこにどの程度の品質を求めるか   何の冗長化をどのレイヤで取るか   他者への影響を考える

  自分でデザインする


まとめ

  サービス提供者のエンジニアリングデザインとは   サービスを一定の品質で持続的に提供すること

  デザインの要件   Scalability

  機能分化と機能毎のスケールアップ、スケールアウト

  Availability   Single point of failureの排除

  Cost Effectiveness   全体最適でコスト削減を意識

  デザイン対象   ネットワーク   システム   ファシリティ   監視・運用

  能力を高めるには   一つの分野でまずじっくり細部まで見る   他の分野でやっていることを見る   自分でやってみる

サービス提供者のエンジニアリングデザイン · インターネットサービスの特徴（1／2） インターネットサービスプロバイダとは...

Documents

サービス提供者のエンジニアリングデザイン · インターネットサービスの特徴（1／2）インターネットサービスプロバイダとは...