Amazon Glacierのご紹介(機能編)

1

Amazon Glacierのご紹介 (機能編)

アマゾン データ サービス ジャパン株式会社

2012.08.28

2 2

Amazon Glacierのご紹介

AWSが提供するストレージサービス

Amazon Glacier

Glacierの特徴

Glacierの機能

AmzonS3との違い

システム構成例

価格体系

3 3

AWSが提供するストレージサービス

Amazon S3 – 高頻度アクセスを想定したオンライン ストレージサービス

– 耐久性 99.999999999%を実現

– 月額 約10円/GBから提供

Amazon Glacier – 低頻度アクセスかつ長期保存を想定した ストレージサービス

– S3と同等の耐久性99.999999999%を実現

– 月額 約1円/GBからの提供

4 4

Amazon Glacierとは

お客様のご要望

現在テープ媒体などでバックアップを取得しているような大容量 データを、安価で確実に何年もわたって保存する仕組みがほしい

データの取り出し回数は多くないが、必要な際に、確実にデータの 取り出しができることが重要

5 5

Amazon Glacierとは

利用用途

オフサイト アーカイブ

企業データ、画像・動画のアセット、科学技術データ

テープリプレイス 電子保存

図書館、歴史博物館、NGOや政府の電子アーカイブ

IT部門のテープバックアップ、ログデータ等の外部保管

6 6

Amazon Glacierの特徴

低コスト – 初期投資不要

– 運用費不要

– 格納容量、取り出し容量、外部へのデータ転送量に応じた従量課金

耐久性 – 99.999999999%の耐久性

– 同一リージョン内で複数拠点への自動複製保存

– データのインテグリティチェックおよび自動復旧

セキュア – データ転送はSSL通信

– 同一リージョン内のみでの保管

– 自動サーバサイド暗号化(AES256)

– IAMとの連携によるアクセス管理

柔軟性 – 格納容量無制限

– 保存期間制限なし

– いつでも取り出し可能

– 保守切れ等によるデータ移行作業不要

– AWS IMPORT/EXPORTにも対応

東京リージョン含む、US-EAST,US-WEST, EUにてサービス提供開始

7 7

Glacierの機能

8 8

Glacierの機能

Vaultとは – アーカイブの格納コンテナ

– Vault内でのアーカイブ格納数制限なし

– アカウント最大1,000Vaultまで作成可能

– IAMによるアクセス制限指定可能

– Vault単位でのSNS通知可能

• メール通知, HTTPリクエスト実行, SQS実行

Archiveとは – 格納データ

– アップロード時システム側でArchive IDを自動発行

• 別途メタデータ管理DBを準備することを推奨

– 格納データの更新不可(削除のみ)

– 1アーカイブ最大40TBまで

– マルチパートアップロードに対応

9 9

Glacierの機能

Inventoryとは – Vaultに格納されたアーカイブ情報一覧

– JSONもしくはCSVベースでダウンロード

– 情報は1日1回バッチで自動更新

Retrieve Jobとは – アーカイブおよびインベントリ取得要求

– 非同期によるデータ取得

– 並列処理可能

– Retrieve Job要求後、ダウンロード準備完了まで、3.5～4.5時間

– JobIDによる処理状況のトラッキング

– SNSによるJob完了通知(Job単位でも指定可能)

Downloadとは – Retrieveされたデータのダウンロード(アーカイブ

およびインベントリ)

– 準備完了後、24時間以内にダウンロード可能

– AWS内でのデータ転送は無料

10 10

Glacierの機能

Vault情報の取得/内容

Management ConsoleもしくはAPIで取得可能

– リージョン

– 最終インベントリ更新日

– 格納合計サイズ

– 格納アーカイブ数

インベントリ情報の取得/内容

Retrieve Job経由で情報ファイルをダウンロード

– アーカイブID

– アーカイブ詳細

– 作成日

– サイズ

– ハッシュキー

AWS Management Console

{ "VaultARN":"arn:aws:glacier:ap-northeast-1:XXXXXXXXXX:vaults/myvault", "InventoryDate":"2012-08-22T10:54:40Z", "ArchiveList":[ { "ArchiveId":"VuXIueJVKCmi2Krd09mWsPYnBQXM_ThOrZCibCPT6W4QSlHMxgN2eqyH6_1", "ArchiveDescription":"my test archive1", "CreationDate":"2012-08-21T15:57:32Z", "Size":1192542, "SHA256TreeHash":"213cfb8e049cee88f988a61e48ebe699ff201f45d63f786d959a6b97b" }, { "ArchiveId":"GzDjZm4lGcOt73icVTmROC7BqsqPAym49sOYEHxJlGyxKtYv0hQ18keenxOVM", "ArchiveDescription":"my test archive2", "CreationDate":"2012-08-21T16:26:01Z", "Size":1192542, "SHA256TreeHash":"213cfb8e049cee88f988a61e48ebe699ff201f45d663f786d959a6b97b" } } }

Inventory (JSON Format)

XXXXXXXX

11 11

Glacierの機能

AWS Import / Export

– AWSのリージョンに対してデータが格納されたHDDを送付いただくことで、直接Glacierに対しデータのアップロードすることが可能

– 現在Tokyoリージョンは未対応

AWS

Import / Export

12 12

Glacierの機能

Valult

– Valutの作成、削除 • createVault, deleteVault

– Vault情報の取得 • listVaults, descriveVault

– Vault単位の通知設定 • createVaultNotifications,

getVaultNotifications, setVaultNotifications, deleteVaultNotifications

Archive

– アップロード、削除 • uploadArchive, deleteArchive

– マルチパートアップロード • initiateMultipartUpload,

uploadMultipartUpload, abortMultipartUpload, completeMultipartUpload, listMultipartUpload

Retrieve

– Job生成 • initiateJob (inventory-retrieval,archive-

retrieval)

– Job情報の取得 • describeJob , listJobs

– データのダウンロード • getJobOutput

提供API機能一覧

現時点ではJavaと.NETのSDKを提供

13 13

Amazon S3との違い VS

Amazon S3 Amazon Glacier

Object (S3) VS Archive(Glacier)

ファイル単位 ファイルもしくはアーカイブされたファイル単位(ZIP/TAR等)

上書き更新可能 WORM (Write Once Read Many) アーカイブの更新不可

リスト可能なインデックス インデックスなし

オブジェクト名指定可能 システムが生成するアーカイブID

同期ダウンロード 非同期ダウンロード

オブジェクトレベルでのアクセス管理 アーカイブ単位でのアクセス管理なし

スタンダード + 低冗長化ストレージ スタンダードのみ

Server Side Encryption選択可 自動Server Side Encryption

LISTによるメタデータ情報参照 Inventoryによるダウンロード方式のみ

Bucket (S3) VS Vault (Glacier)

アクセスコントロール(IAM + Bucket Policy) アクセスコントロール (IAMのみ)

SNSによる通知設定可 SNSによる通知設定可

ログ設定可 ログ設定不可

ライフサイクルポリシー指定可 ライフサイクルポリシー指定不可

Webサイト機能 Webサイト機能なし

データ格納 同期型 同期型

オブジェクト名指定可能 システムによるアーカイブID自動生成

データ取得

同期型 非同期型

Jobによる処理要求

オブジェクト名でのアクセス アーカイブIDでのアクセス

14 14

システム構成例

Amazon Glacier

AWS Direct Connect

AWS Import/Export

お客様のDC

アーカイブ テープ装置

Primary Storage

AWS / On-Premise Application Server

アーカイブシステム (検索, ログ分析, アクセスコントロール)

インデックス /メタデータ

管理

Amazon IAM

Amazon SNS

アップロード/ダウンロード

アップロード / ダウンロード

ジョブ完了通知

アクセスコントロール

インデックス メタデータ管理

RDS DynamoDB

インデックス管理

データ分析 データ変換

EC2 EMR

データ分析 エンコーディング

15 15

価格体系

価格体系(東京リージョンの場合)

ストレージ $0.012/GB/月

リクエスト数 (アップロード、データ取出)

$0.06/1,000リクエスト

アップロード 無料

データ取出 毎月総格納容量の5%まで無料

上記以上は、$0.012/GB

短期間での削除 (90日以内に削除した場合)

$0.036/GB

AWS外部へのダウンロード 通常のダウンロード料金

($0.201/GBから) *AWS内部からのダウンロードは無料

16 16

まとめ

低コスト、かつ非常に耐久性の高い長期保存用アーカイブストレージ

手間のかかる運用なしに、いつでもアップロード /ダウンロード可能

容量無制限で、格納データもセキュアに保管

Amazon Glacierで簡単に アーカイブやバックアップデータの長期保存が可能に

17 17

Appendix: Amazon S3との連携

Amazon S3とGlacier間で シームレスにデータの移動ができる

機能が近日リリース予定

18 18

Appendix: 管理画面

Management Console Vault作成画面

19 19

Appendix: 管理画面

SNS通知設定画面

20 20

Appendix: 管理画面

Glacier管理画面 (Valut一覧)

21