AWSマイスターシリーズ “Reloaded” ~Amazon EC2 HPCインスタンス~ 2012年3月12日 ソリューションアーキテクト 松尾 康博 (@understeer) エバンジェリスト/技術統括部長 玉川 憲 (@KenTamagawa)
AWSマイスターシリーズ “Reloaded” ~Amazon EC2 HPCインスタンス~
2012年3月12日
ソリューションアーキテクト 松尾 康博 (@understeer)
エバンジェリスト/技術統括部長 玉川 憲 (@KenTamagawa)
セミナーのAgenda
HPCとは?
HPCインスタンスの特徴
HPCインスタンスの料金
HPCインスタンスの事例と制限
Copyright © 2011 Amazon Web Services
HPCとは?
高性能計算(high-performance computing)
HPCは狭義には、並列スーパーコンピュータ及びコンピュータ・クラスタ(主に汎用のCPU
を商用の相互結合網で結合し、単一のシステムとして構成された計算機システム)の利用を指す。その場合、HPCをハイ・パフォーマンス・クラスタリング (high-performance
clustering) の略とすることもある。また、クラスタリングにより高性能計算を実現する計算機をHPCC (high-performance computing cluster) と呼ぶ。
------snip----
科学研究に使われる計算に対して用いられることが多く、関連する用語に高性能技術計算(high performance technical computing、HPTC)がある。後者は一般にはクラスターベースの計算の工学的利用(例えば計算流体力学(computational fluid dynamics)や、仮
想的なプロトタイプの構築・試験など)を指す。最近では、クラスタベースの高性能計算機はビジネスにも利用されるようになってきた。例えばデータウェアハウス、LOBアプリケーション(line-of-business application)、トランザクション処理などである。
出典「Wikipedia 高性能計算」http://ja.wikipedia.org/wiki/高性能計算
従来のHPC
役割と構成
スーパーコンピュータやクラスター上で、MPI等の密結合処理な並列処理を行う
低遅延・広帯域なインターコネクトネットワーク
常に言われること
構築費用が高い
電源、ネットワーク等の設計・構築・運用が大変
クラスタは典型的な共用リソース
待ち行列で待たされる
従来のEC2はHPCに合わない
1Gbpsの帯域幅では十分ではない
HPC on AWSとは?
HPC用に最適化されたEC2インスタンス クラスタインスタンス Cluster Compute : cc1.4xlarge, cc2.8xlarge
クラスタGPUインスタンス Cluster GPU: cg1.4xlarge
高性能ネットワーク 低遅延
広帯域
密結合な並列HPCアプリケーションを念頭に設計 マルチコア、メニイコア、とそのハイブリッド
MPI、OpenMP、Fortran-90, CUDA等
HPC on AWSのメリット
無制限にノード利用可能
無制限のストレージ
非ブロッキング
full bisection帯域幅ネットワーク
待ち行列無し
共有プール無し
オンデマンド
プログラム可能なインフラ
従量課金
自由にスケールアップ・ダウン
スポット価格も利用可能
無制限のスケール 俊敏性 価格性能比
HPCインスタンスとは?
3つのインスタンスタイプ クラスタコンピュートインスタンスCC1、CC2
クラスタGPUインスタンス CG1
必要なときに必要なだけ利用可能 共用HPCクラスタのようにジョブをキューに入れて待つことなく
、計算が必要なときに必要な量・時間の計算リソースを利用
注)初期上限は8ノード。上限緩和申請で引き上げ可能
HPCクラスタを従量課金で利用可能
クラスタ調達、設定・運用のコスト・複雑さを低減
複数の価格モデル(オンデマンド・を組み合わせてコスト最適化が可能
HPC用インスタンスタイプ
cc1.4xlarge 最初のHPC用インスタンスタイプ
33.5ECU, 23GB RAM, 1690GB インスタンスストレージ
4コア Intel Xeon 5570(Nehalem) x 2
cc2.8xlarge 最新のHPC用インスタンスタイプ
88ECU, 60.5GB RAM, 3360GB インスタンスストレージ
8コア Intel Xeon E5 (Sandy Bridge) x 2
AVX(Advancec Vectore Extensions)が有効
cg1.4xlarge cc1にGPUを搭載したGPGPU用インスタンスタイプ
2 x NVIDIA Tesla “Fermi” M2050 GPU ( 2*447 CUDA cores)
サポートOS
3種類のベースOS AMIを提供 Amazon Linux (RHEL, CentOS 5.4 互換)
SUSE Linux Enterprise Server
Windows Server 2008 R2
HPC Pack 2008 R2 Expressもインストール可
その他OSのAMIもサードパーティより提供
CentOS, Ubuntu, FreeBSD,etc
OS/AMIは EBS-backed
カスタムAMIの作成方法は従来のEC2と同様
Chef /Puppetも利用可能
HPCインスタンスと通常のEC2インスタンス
命令セットアーキテクチャを公開
コンパイラオプションで、Nehalem, Sandy Bridge, Teslaをターゲット指定可能
HVM(Hardware assisted virtualization)
通常のEC2で用いる準仮想化とは異なる
1:1で物理マシンと仮想マシンが対応
10Gbps NIC + JumboFrame
Full-bisection ノンブロッキングネットワーク
上記以外はは通常のEC2と同じ
EBS, EBS Snapshot, AMI作成, Security Groups, VPC, etc.
現時点で、US-EASTでのみ提供
クラスタネットワーク
従来のEC2と比べ、約10倍の帯域と1/10のレイテンシ レイテンシ 50μsec未満
帯域 最大10Gbps
HPCインスタンス間は、JumboFrameを使用
ノンブロッキング
HPCインスタンス用API: Placement Groupを追加 論理クラスターを構築するネットワーク単位
Full bisection の帯域 Placement Group内のインスタンス間の通信帯域は 10Gbps full bisectionのネットワーク
クラスタネットワーク
プレイスメントグループ内の全ノード間でFull bisection bandwidth 10Gbpsの帯域
1プレイスメントグループで220ノードを収容可能
複数のプレイスメントグループで構成した“Cluster of Clusters” で、より大きくスケール可能 Full bisection bandwidth
Placement Groupとは
クラスタインスタンスの論理クラスタ
作成・利用はコマンドラインやコンソールで簡単に行える
オプション機能
プレイスメントグループ内で、ノンブロッキング N/Wが可能
従来に比べてより安定した帯域を提供
データ格納先
インスタンスストレージ
2x 840GB
EBS
従来のEC2同様、最大1TB/ボリューム
RAID0をサポート
S3
API,curl,wget,s3cmd等による並列アクセス可能
その他
GlusterFS
Lustre
クラスタファイルシステム ~Amazon S3
分散オブジェクト(file)ストレージ
耐障害性 99.999999999%
超並列アクセスが可能
既存APIと非互換
HTTP/HTTPS のみ
POSIX非対応、NFS非対応、FTP非対応
クラスタファイルシステム ~GlusterFS
ソフトウェア スケールアウト型分散ファイルシステム FUSEベース
POSIX, NFS, CIFS, DAV, HTTPS対応
メタデータサーバ不要 Elastic hashingアルゴリズムを採用
全クライアントは 目的のファイルがどのノードにあるか知っている
クライアントがファイルに直接アクセス
数百PBまでスケールアウト可能 Failoverに備えて、データのミラー・同期複製
並列性能向上のためデータストライピング
Red Hatへ Red Hat to Acquire Gluster
http://www.redhat.com/promo/storage/
GlusterFSの2つの利用方法
インスタンスストレージを利用 ユーザが自分で分散ファイルシステムを構築可能
S3からデータを並列にコピー可能
クラスター起動中は、ファイルシステムを利用可能
EBSを利用 クラスタのライフサイクルに非依存な永続的なファイルシステムを構築可能
必要に応じて、クラスタを起動して、利用可能
S3にバックアップ(snapshot)可能
HPC用データ転送方法
標準的な方法 Scp/sftp/rsync/ftp
EBS/インスタンスストレージにコピー可能
クラスター起動中も、ファイルシステムを利用可能
高速転送ソリューションを利用 Tsunami
Aspera
BBCP
Riverbed
参考:AWS Import/Export 物理的にDiskを送受信しAWS側で S3やEBSにImport/Exportを行う
参考:AWS Direct Connect 1Gbps/10GbpsでAWSへ専用線接続
Linpackの結果
2010年11月
CC1インスタンス ( Xeon X5570 2.95GHz, 10GbE)
880ノード (7040コア)
41.82 TFLOPS
Top500 231位
http://i.top500.org/system/10661
2011年11月
CC2インスタンス ( Xeon E5, 10GbE)
1064ノード(17024コア)
240.09 TFLOPS
Top500 42位
http://i.top500.org/system/177457
HPCインスタンスの適用分野
従来型の密結合 HPCアプリケーションで多くの事例
MPI分散メモリ並列処理
CUDA GPU並列処理
CFD (Computational Fluid Dynamics)
FEA (Finite Element Analysis)
モンテカルロシミュレーション
ゲノム解析
レンダリング
HPCインスタンスの利用事例
NASA Jet Propulsion Laboratory
128ノード(1024コア)
http://aws.typepad.com/aws/2010/09/high-performance-cloud-computing-nasa-matlab.html
HPCインスタンスの利用事例
MathWorks / MATLAB
最大32ノード(256コア)
http://aws.typepad.com/aws/2010/09/high-performance-cloud-computing-nasa-matlab.html
その他事例
http://aws.amazon.com/jp/solutions/case-studies/#hpc
HPCインスタンスの新しい適用分野
その他、ネットワークに依存する処理
ストリームデータ処理
Hadoop / EMR/ Hive/ Pig/ Cascading等
分散キャッシュ
NoSQL
Cassandra/ MongoDB/ Riak等
スケールアップ型ソフトウェアバランサー
HAProxy等
スケールアップ型RDBMS
高性能データベース等
利用料金
2012年3月に値下げ実施!(10%~38%)
特にリザーブドインスタンスが大幅値下げ
予約金$250k以上で10%、$2,000k以上で20%のボリュームディスカウント
料金表
http://aws.amazon.com/jp/ec2/pricing/
hourly upfront hourly upfront hourly upfront hourly hourly
CC1 $1.300 $1450 $0.742 $3286 $0.450 $4060 $0.297 $.0.450
CC2 $2.400 $1762 $0.904 $4146 $0.540 $5000 $0.361 $0.540
CG1 $2.100 $2410 $1.234 $5630 $0.740 $6830 $0.494 $0.665
CC1 $1.610 $1450 $0.922 $3286 $0.630 $4060 $0.477 N/A
CC2 $2.970 $1762 $1.114 $4146 $0.750 $5000 $0.571 N/A
CG1 $2.600 $2410 $1.534 $5630 $1.040 $6830 $0.794 N/A
Linux/Unix
Windows
Spot
Reserved
low mid highOndemand
利用料金
Spotインスタンスも利用可能 低額にHPCインスタンスを利用可能
ただし、入札価格によっては突然シャットダウン
価格の変動履歴はマネージメントコンソールで確認 一般的に、リザーブドインスタンスが目安
ソフトウェア
NVIDIA GPUドライバ、CUDA toolkitはロード済み
Cluster Instance Amazon Linux AMI
Windows 2008 R2 for Cluster Instances
様々なソフトウェアが利用可能
AWSでは、Intel MPI and Intel MKL® ライブラリを使用
OpenMPI, MPICH2なども利用されている
Hadoop/ EMRも利用可能
その他様々なクラスタ管理ツール
その他様々なHPCソフトウェア
HPCツールと、パートナー製品
従来のクラスタ管理ソフトウェアの多くが利用可能です。
SGE
Adaptive Computing – Moab, Torque
Altair – PBS
Platform – LSF
Oracle – Grid Engine
Univa-UD – UniCloud, GridMP
Clustercorp – Rocks+Rolls
Cycle Computing – Condor
MIT - Starcluster
並列ファイルシステム
Gluster
Lustre
GFS
AWSプレミアムサポート アーキテクチャ設計に関するガイダンス、ベストプラクティスも日本語でご案内できます aws.amazon.com/jp/premiumsupport/
Copyright © 2011 Amazon Web Services
ブロンズ シルバー ゴールド プラチナ
初回応答時間 12時間 4時間 1時間 15分
サポート連絡先 1人 2人 3人 無制限
24/365対応 なし なし あり あり
TEL可能 不可 不可 可能 可能
専任スタッフ なし なし なし あり
特別サポート なし なし なし あり
料金 $49 AWS利用総額の
5%
AWS利用総額の
$0~$10K: 10%
$10K~$80K: 7%
$80K~: 5%
(最低$400)
AWS利用総額の
10%
(最低$15K)
参考情報
AWS HPC
http://aws.amazon.com/jp/hpc-applications/
Amazon EC2 料金
http://aws.amazon.com/jp/ec2/pricing/
Windows Guide
http://docs.amazonwebservices.com/AWSEC2/latest/WindowsGuide/
ビデオ
8ノードクラスタ構築
http://www.youtube.com/watch?v=5zBxl6HUFA4
10分でHPCクラスタ構築
http://www.youtube.com/embed/YfCgK1bmCjw
ワシントン大学の事例
http://www.youtube.com/watch?v=mKElyNabc0A
Q & A
Copyright © 2011 Amazon Web Services