BOSTON Viridis for Hadoop by ELSA Japan

低消費電⼒ARMサーバーをオンチップ⾼速インターコネクトで⾼密度に集積したクラスタをHadoopにカスタマイズ

BOSTON Viridis

• Boston Viridis – 電⼒効率に⾮常に優れたサーバーの誕⽣– Calxeda EnergyCore プロセッサーを採⽤

• 1枚のサーバーモジュールに4基のEnergyCoreプロセッサを搭載• 2Uサイズのサーバー筐体に48基のEnergyCoreプロセッサを集約 – 192

コア–

各EnergyCore SoCには4GBまでのDRAMを接続可能

•

Cortex A9プロセッサによる制約•

各SoCを単機能に専⽤化することにより

各コンポーネントが必要なメモリ量だけ に節約でき， OSのメモリ消費量も削減

できるため，制約を極⼩化可能。•

Cortex A15プロセッサではメモリ空間が

1TBまで拡⼤。 CALXEDA-BOSTONもCortex A15

対応モデルをリリース(2013 1Q末予定)

BOSTON Viridis for Hadoop

• Hadoopアプライアンス–

オープンソースによるデータ集中

型分散アプリケーションには， Viridisサーバーが適しています

• Apache Hadoopをプレインストー ルしたクラスターサーバーを，繋 いで即使える状態で提供します

–

⾼いスケーラビリティを提供–

チューニングも可能です

–

展開が容易になります•

数ペタバイトにも及ぶデータを低

消費電⼒のサーバにより利⽤可能 となります

BOSTON Viridisが採⽤している Calxeda EnergyCore SoC のアーキテクチャ

EnergyCoreTM

Management Engine

システム・電⼒・ファブリック

の最適化・管理機構

IPMI・DCMI準拠

I/Oコントローラ

SATA 3Gb/s×5chPCIe gen2 (x4 + x2 + x1)×4eMMC/MMC/SD controller

10GbE controller ×3

プロセッサ複合体

Cortex A9 4コア広帯域メモリコントローラ

EnergyCoreTM

Fabric Switch

ノード間遅延200ns以下トポロジーは透過的

OSは2ポートのNICを認識最大消費電力 5W

アイドル時消費電力 0.5W以下(4GB DRAM搭載時)

EnergyCoreのリファレンスプラットフォーム Calxeda EnergyCard

EnergyCoreTM

4コアSoC

10Gb Ether Link ×8

各SoC専用の4ch SATA I/F

各SoCに供給するDRAM4GB ECC mini-DIMM

一枚の基盤に4基のEnergyCore SoCを搭載消費電力20Wバックボードに挿すだけ; 外部スイッチ不要

EnergyCardの相互接続トポロジー

赤い矢印からシャーシ外への10Gb Ethernetポートに接続。

シャーシ内部は固定的・透過的なトポロジーにより相互に接続し，

各SoCは2ポートの10Gb Ethernetポートをファブリック上に持つ。

hadoophadoop Framework

• Hadoopは⼤きく分けて次の2つのシステムによって構成される– Hadoop Distributed File System

• ⾃⼰修復機能のある広帯域クラスタストレージ– MapReduce

• 分散・耐故障性のある，プログラムによるスケーラブルなデータ抽出機能 を持ったリソースの管理・スケジューリングシステム

• 重要な性質– Flexibility

• いかなるデータも保管・解析可能– Scalability

• 1TB/3ノード〜数PB/数千ノード– Economics

• コストもまた線形にスケールする こと

Hive Pig

HBaseMapReduce

HDFSTM

(Hadoop Distributed File System)

DISK DISK DISK DISK DISK DISK

Hadoop Distributed File System

Master node

Name Nodes

HDFS Server

HDFSClient

Data Nodes

SATA接続ノード SATA不要ノード

ZooKeeperZooKeeper

HBase

ZooKeeperZooKeeper

HDFS

HRegionServers

HMaster

HBaseClient

Javaで構築されており

ノード間はソケットで通信を行う

Memcached

Database Server

InternetInternet

MemcachedServers

WebFrontend

ApacheBench Results and Power Comparison

Boston Viridis Intel Xeon E3- 1240 [1]

Core Frequency 1.1 GHz 3.3 GHz

CPU Coures 4 4Total Requests 1,000,000 1,000,000Requests per Second 5500 6950Latency (Average) 9 ms 7 msPower (Average)[2] 5.26 W 102 W[3]

Performance/Watt Advantage 8-15X

BOSTON Viridis による展開のメリット

• 物理的仮想化–

ユーザごとに物理的なリソースを

専⽤に割り当て，QoSを保証可能–

ポリシーによるリソース割当も可

能–

外部のスイッチ・負荷分散器・

SSLオフロードといったネットワ ークアプライアンスを節約可能

•

内蔵の分散ストレージ–

外部のストレージ専⽤アプライア

ンスが不要に–

電源とネットワークのケーブルを

接続してスイッチを⼊れるだけで 即展開可能

•

低TCO–

装置全体の消費電⼒は300W以下

–

2Uサイズに最⼤48SoC/192コア

ご⽤命は…

•

エルザジャパンにお問い合わせください。– BOSTON製品の⽇本国内のVARです。– HPC&システム事業部

(担当:鈴⽊)

– Tel. (03) 5765-7391– E-mail: [email protected]– URL: http://www.elsa-jp.co.jp

•

プレゼンテーション、デモ、および検証作業のご協⼒に伺 います。

–

ターゲットアプリケーション、評価の規模などをあらかじめ教えて いただければ、BOSTONと連携し、最適な構成を⽤意して検証い

ただけるようセットアップします。–

技術的質問・改修のご要望など、BOSTONとのやりとりはすべて

エルザジャパンにてご対応いたします。

14