Yahoo! JAPANの新しいクラウドストレージサービス

Yahoo! JAPANの新しいクラウドストレージサービス～Yahoo! JAPANがRiakを選んだ理由とは？～

ヤフー株式会社

マーケティングソリューションカンパニー新規事業本部

阪田浩隆

2013年2月14日（木）

自己紹介

1Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

氏名：阪田浩隆（さかたひろたか）

入社年：2004年10月

担当業務実績：

- 社内認証システム開発

- ビジネス系認証システム開発

- 社内ツール系開発

- 分散KVS 開発・保守・運用

- オブジェクトストレージ開発

現在：Riak開発部隊（Yahoo! JAPAN内）


• アジェンダ

• Yahoo! JAPANを支える技術

• KVS

• データレプリケーション

• オブジェクトストレージ

• Riak概要

• Product一覧

• アーキテクチャ概要

• インストールから起動まで• Riak EDS

• Riak CS

• 簡易デモ

• Yahoo! JAPANの新しいクラウドストレージ

• なぜRiakを選んだのか3

Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

実はYahoo! JAPANには

17年のKVSの歴史がある


創業当時（1996年）から、

データを扱うプラットフォームとして

分散KVSを使用している

※当時はまだクライアントサーバーシステムが主流であり、現在のＷｅｂが主流

のスタイルではなかった

• 独自開発

• 大規模データ

• 例）ユーザーデータ

• 分散処理

• スケールアウト

• 複数DCでのデータレプリケーション


Yahoo! JAPANの技術

• 独自の技術で基盤を構築している

• Yahoo! Inc.とYahoo! JAPANで開発したコアテクノロジーを元に、強靭な基盤を築いている

• このテクノロジーを利用して、

Yahoo! JAPANのサービスは成り立っている



7

画面はサンプルです。実際の表示は異なることがあります。



8

Yahoo! JAPANコアテクノロジー




9


KVS




10


KVS

認証システム課金システム

広告技術 CDN




11


KVS


広告技術 CDN

ストレージ RDBMS




12


KVS


広告技術 CDN

ストレージ RDBMS

強靭なコアテクノロジー



Yahoo! JAPANのデータレプリケーションシステム


Yahoo! JAPANには

データレプリケーションシステムが存在します

• 独自開発



例えば


KVS

発生する問題


KVS

・フロントサーバーがＤＣをまたがる構成になった場合→レイテンシが問題になる

・どこかのサービスが負荷をかけると全体に影響する→負荷分散が必要

データレプリケーション


KVSKVS

KVS

DC 1 DC 2

DC 3

レプリケーションにより1．レイテンシ問題の解決2．負荷分散

Yahoo! JAPANにおけるオブジェクトストレージ


実はYahoo! JAPANには・・・

オブジェクトストレージが存在します

• 独自開発


• データレプリケーション


• 開発コンセプト（2009年7月開発スタート）

• 容量無制限

• 無限にスケールアウトする

• 安価

• とにかく利用価格を安くする

• データの集中管理

• 集中管理する事で無駄をなくし、コスト削減を徹底する

• 使いやすいI/F

• REST形式のAPIを提供

• 高パフォーマンス

• 可用性


Yahoo! JAPAN内での利用実績(一部ご紹介)

• Yahoo!ボックス

• Yahoo!天気・災害

• Yahoo!ブックストア

• Yahoo!ロコプレイス

21



実際のトラフィック

• Yahoo!ボックスサービス開始から

数TB/day のアップロードを受けている

• サーバー台数が数千台に達している

• 数PBのデータが格納されている


KVSKVS

KVS

アーキテクチャ

独自KVS

23

API

メタデータ

CDN（大容量配信）※Yahoo!ボックスでは未使用

アプリケーション

Farm

・・・・

Farm

・・・・

Farm

・・・・

ストレージエンジン

・・・・


Yahoo!クラウドストレージとして提供

• Yahoo!クラウドストレージとして、2012年9月初旬より提供開始しましたが、より良いアーキテクチャへ変更予定です

• 変更する理由は後ほど


Riak概要


Product一覧


• Riak

• OSS版のKVSエンジン

• 単一クラスタの構築が可能

• Riak EDS

• エンタープライズ版のRiak

• 複数クラスタの構築が可能

• クラスタ間レプリケーションが可能


• Riak CS

• オブジェクトストレージ

• Object(ファイル)はRiak / Riak EDSに保存される

• Riak / Riak EDSが無いと動作しない

• 機能としてはAPIの役割を果たす

• 認証

• 大容量ファイルの分割配置など


• コンポーネント一覧


コンポーネント名役割 OSS 有償

Riak 分散型KVSエンジン ○

Riak EDS 分散型KVSエンジンクラスタ間レプリケーションが可能

○

Riak CS オブジェクトストレージAPI ○

Stanchion リクエストシリアライズ管理API ○

Riakアーキテクチャ概要


Riak


Riak Cluster

基本構成

Riak


Riak Cluster

コンシステントハッシュでデータを格納＆

データを冗長化して保持

Riak


Riak Cluster

各ノードが全てＡＰＩ※ダウンしても他のノードが

サービス継続

Ｃｌｉｅｎｔ

Riak EDS（有償版）


RiakCluster A replication

Riak Cluster B

クラスタ間のレプリケーションが可能

Riak EDS


RiakCluster A replication

Riak Cluster B

通常の使用方法

Proxy Proxy

Riak CS


基本構成

Riak Cluster

・・・・・・・・・・・・

Riak CS Cluster

Stanchion

Riak CS


RiakCluster A

replication

通常の使用方法

Proxy Proxy

Riak Cluster B

・・・・・・・・

Ｓｔａｎｃｈｉｏｎ

Riak CS Riak CS

インストール方法


Riak / Riak EDSインストールから起動まで


• 1nodeの構築• クラスタの構築• レプリケーションの設定

• 作業の流れ

• パッケージダウンロード

• インストール

• 設定ファイルの編集

• 起動


• 1nodeの構築•パッケージダウンロード

• 以下のサイトからダウンロード• http://basho.com/resources/downloads/

• お使いの環境に合わせてダウンロードしてください


• 1nodeの構築•インストール


CentOS 6の環境でインストールする場合

$ sudo yum install riak-1.2.1-1.el6.x86_64.rpm

• 1nodeの構築•設定ファイル編集その１


$ sudo vi /etc/riak/app.config

ローカルに環境がある場合は、設定ファイルの編集は、特には不要。

ネットワーク環境にある場合で、IPアドレスが指定されている場合は、以下を編集

{http, [ {"127.0.0.1", 8098 } ]},↓

{http, [ {“独自環境のIPアドレス", 8098 } ]},

• 1nodeの構築•設定ファイル編集その２


$ sudo vi /etc/riak/vm.args



-name [email protected]↓

-name riak@独自環境のIPアドレス

• 1nodeの構築•起動

•確認その１


$ riak start特に、何もレスポンスはありません

$ riak pingpong ← この表示が出ることを確認$

• 1nodeの構築•確認その２

•確認その１


$ sudo riak-admin member_status================================= Membership =================================Status Ring Pending Node---------------------------------valid 100.0% -- ‘[email protected]'---------------------------------Valid:1 / Leaving:0 / Exiting:0 / Joining:0 / Down:0

↑この表示が出ることを確認

• 1nodeの構築•確認その３

•確認その１


$ sudo riak-admin ring_status============= Claimant ============= Claimant: ‘[email protected]'Status: upRing Ready: true========= Ownership Handoff ==========No pending changes.========= Ownership Handoff ==========All nodes are up and reachable

↑この表示が出ることを確認

• クラスタの構築

• 設定（コマンド）

• 確認


$ riak-admin cluster join riak@[IPアドレス]

$ sudo riak-admin member_status

↑このコマンドで、表示確認

• レプリケーションの設定（有償版のみ）

• 設定ファイル編集


$ sudo vi /etc/riak/app.config

レプリケーション設定（以下サンプル）を追加反映

{riak_repl, [{fullsync_on_connect, true},{fullsync_interval, 360},{data_root, “/var/lib/riak/riak_repl"},{queue_size, 104857600},{server_max_pending, 5},{client_ack_frequency, 5}

]},


• レプリケーション設定


$ riak-repl add-listener ‘riak@自分自身のIP’‘自分自身のIP’ 9010

コマンド実行後は、特に何も出力しません

$ riak-repl add-site ‘同期先のIP’ 9010 クラスタ名コマンド実行後は、特に何も出力しません


• 確認


$ riak-repl status

↑このコマンドで、表示確認


• 同期開始


$ riak-repl start-fullsyncコマンド実行後は、特に何も出力しません

どの場面で利用するのが良いのか


• 高速にデータアクセスさせたい場合• 集合から単一データを高速に取得したい場合

• 将来的にデータ件数/容量が増える事が確実である場合• スケールアウトが必須の場合

• 運用コストを軽減したい場合• システムが巨大化してしまい、運用コスト軽減を検討

したい

• サーバー、人件費の両方


Riak CSインストールから起動まで


• 1nodeの構築• Stanchionの構築• Riakとの接続設定

• 作業の流れ

• Riak CS/Stanchion

•パッケージダウンロード

•インストール

•設定ファイルの編集

•起動


• パッケージの種類

• 有償版のみ


• Riak CSの構築

• 1nodeの構築

•パッケージダウンロード• 開発トライアル登録後、ダウンロードURLが案内される




$ sudo yum install riak-cs_1.2.0.el6.x86_64.rpm

•設定ファイル編集


$ sudo vi /etc/riak-cs/app.config



{cs_ip, "127.0.0.1"},↓

{cs_ip, "独自環境のIPアドレス"},


{riak_ip, "127.0.0.1"},↓

{riak_ip, "独自環境のIPアドレス"},

{stanchion_ip, “127.0.0.1"},↓

{stanchion_ip, “独自環境のIPアドレス"},



$ sudo vi /etc/riak-cs/vm.args




-name riak@独自環境のIPアドレス

•起動

•確認


$ sudo riak-cs startok

$ sudo riak-cs pingpong

• Stanchionの構築

• 1nodeの構築

•パッケージダウンロード• Riak-CSと同じです




$ sudo yum install stanchion-1.0.1-1.el6.x86_64.rpm



$ sudo vi /etc/stanchion/app.config



{stanchion_ip, "127.0.0.1"},↓

{stanchion_ip, "独自環境のIPアドレス"},


{riak_ip, "10.1.1.192"},↓

{riak_ip, "独自環境のIPアドレス"},

{anonymous_user_creation, false},↓

{anonymous_user_creation, true},



$ sudo vi /etc/stanchion/vm.args




-name stanchion@独自環境のIPアドレス

•起動

•確認


$ sudo stanchion startok

$ sudo stanchion pingpong

• コマンドラインからの確認• 管理ユーザの作成

• テストファイルの配置


Riak CSを使ったデモ


デモの概要


Webサーバー（投稿）

Riak Cluster

マウント

Webサーバー（閲覧画面）

アップロード • エンコード

• サムネイル作成

APIコール

実際の導入事例


導入事例1

• LOHACO(アスクル様)


Riak CSで画像配信

システム構成


Riak CS Cluster

Riak EDS Cluster 1

CDN

Riak CS Cluster

Riak EDS Cluster 2レプリケーション

障害発生時のみ

データ

• 登録件数

• 約20万件弱（データ移行は3時間程度）

• ファイルの種類/サイズ

• 画像データ

• 5k～500k

• リクエスト数

• 450req/sec

• CDNキャッシュヒット率

• 97%

• レスポンス

• 10ms～80ms （CDNにキャッシュされている状態だと10ms程度）


構築～リリースまでの期間

• 構成検討、各種調整（NW、サーバー調達）

• 1週間

• 構築＆テスト・リリース

• 構築：1日

• テスト&リリース：1週間

問題になったところ

• データをフラットに配置したところ、

一覧取得できなくなった

• 解決策：ディレクトリを分けてもらった


Yahoo! JAPANの新しいクラウドストレージ


Riak CSを利用しての

Yahoo! JAPANの新しいクラウドストレージ


• スケジュール

• 2012年10月トライアルリリース

• 2013年1月先行リリース

• 2013年4月本番サービス開始（予定）


なぜRiakを選んだのか


求められる機能の違い

• 独自のオブジェクトストレージでは全てに対応できなかった

• C向け、B向けで求められる機能が違うため、全てを1ソースで管理していくのは困難だった


S3互換のオブジェクトストレージが必要だった

• ユーザーニーズに早急に応える必要があった

• S3のユーティリティをそのまま流用したい旨のニーズが多かった

• 独自のオブジェクトストレージを改修する事も可能だったが、時間を節約したかった


KVSがストレージエンジンになる

• KVS単体でもストレージエンジンになりえるようになっている

• ただしサーバー台数が増えた時にどうするのか検討が必要


運用コスト削減

• 運用コストがかからないような構成になっている

• コンポーネント数が少ない

• 設定が項目が少ない

• サーバー追加が容易


Yahoo! JAPANで培ったKVSのノウハウを、ダイレクトに活かせそうなアーキテクチャだった

• ＋一緒に開発できそうな人たちだった



Action!カード

今回のDevelopers Summitのテーマは「Action!」• 共感から行動へ、「デベロッパーは未来を作っている。世の中をエコでスマート

な社会にするために、デベロッパーは誇りを持って、行動しよう！」

• セッション後のAction!をレコメンド！

• メッセージ• 「世界に５つのコンピュータ」

インフラを意識させないインフラを作ろう

• おすすめのコミュニティ• Riak Meetup

• おすすめの本• プログラミングErlang


世界に５つの

コンピューター

インフラを

意識させない

インフラを作ろう

アンケートと引き換えに、ノベルティプレゼント！

ご清聴ありがとうございました


Yahoo! JAPANの新しいクラウドストレージサービス

Documents

args ip

repl add

rights reserved

sudo riak

japan yahoo

japan yahoo

riak

riak 127