使ってみよう！データベースとストレージroadshow.awseventsjapan.com/doc/crs-osaka-aws-04.pdf · AWS DATABASE AND STORAGE SERVICES . AWS Cloud Roadshow 2016...

AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。

使ってみよう！データベースとストレージ GETTING STARTED WITH AWS DATABASE AND STORAGE SERVICES


スピーカー紹介アマゾンウェブサービスジャパン株式会社

⻄⽇本担当ソリューションアーキテクト

❤ Amazon Kinesis❤ Mobile Services❤ AWS IoT

清⽔崇之


クラウドサービスで働き方を変える  AWSのデータベースサービスやストレージサービスを使うだけで変わる部分とは？


その前に、、、 AWSの基本的なお話


世界中に広がるサービス拠点13

35

63

リージョン

アベイラビリティゾーン

エッジロケーション


リージョン／アベイラビリティゾーン

東京リージョン

AvailabilityZone A

AvailabilityZone B

・リージョンとはクラウドの拠点が存在する地域・アベイラビリティゾーンとはリージョン内にある物理的に離れたデータセンタ


データベースの管理


データベース運用どうしてますか？  データベースの運用は大変 ◦ 作業時に止められない ◦ 広範囲のサービス影響がある ◦ 設定など覚えることが多い ◦ などなど。。。

 DBAのみなさんは胃の痛い思いをしている


DBAの役割  DBA (DataBase Administrator)の仕事 ◦ スキーマやクエリのチューニング ◦  DBの構造を理解した上での、適切な改善

◦ DBサーバ/クラスタの管理 ◦ 構築、キャパシティ、パフォーマンス、障害対応

 現在、どちらに費やしている時間が多いでしょうか？


クラウドサービスで変わる事


完全マネージド型で、セットアップ、運⽤、拡張が容易なリレーショナル・データベースサービス

RDS

DynamoDB

完全マネージド型で、⾼速なパフォーマンス、シームレスな拡張性と信頼性のNoSQLサービス

Redshift

⾼速で管理も万全なペタバイト規模のデータウェアハウスサービス

ElastiCache

完全マネージド型で、セットアップ、運⽤、拡張が容易なキャッシュサービス

DMS

完全マネージドで異機種間のデータベース移⾏も可能なデータベース移⾏⽀援サービス


完全マネージド型で、セットアップ、運⽤、拡張が容易なリレーショナル・データベースサービス

RDS

DynamoDB

完全マネージド型で、⾼速なパフォーマンス、シームレスな拡張性と信頼性のNoSQLサービス

Redshift

⾼速で管理も万全なペタバイト規模のデータウェアハウスサービス

ElastiCache

完全マネージド型で、セットアップ、運⽤、拡張が容易なキャッシュサービス

DMS

完全マネージドで異機種間のデータベース移⾏も可能なデータベース移⾏⽀援サービス


Amazon RDS


データベース管理を簡単に  データベースを数分で作成可能  障害の自動検知と自動フェールオーバ  自動でパッチの適用  数クリックでスケールアウト可能  自動バックアップ


Amazon Aurora  Amazon がクラウド時代のリレーショナル・データベースアーキテクチャを1から考え直して構築した DB エンジン ◦ 1970年代の方法で実装はしない ◦ AWS サービスを活かすことができ、スケールアウトが簡単で、セルフヒーリングが出来るようなデータベースを作りたいと考えた

 結果としてエンタープライズグレードの可用性と OSS レベルの低コストを両立


データベース構築  数クリックでDBが起動 ◦ DBエンジン ◦ インスタンスクラス ◦ ディスクの種類とサイズ ◦ 等を選ぶだけ ◦ 数分で起動しデータベースとして動き始める


データベース構築のデモ


耐障害性  フェイルオーバや、耐障害性を高めるためのデータベースの仕組みを作るのは手間がかかる。

 作ったとしてもパフォーマンスと両立させることは非常に難しい。

AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。耐障害性：

Multi-AZ 構成  一般的にデータセンタレベルの冗長化を実現するのは大変 ◦ それを実現するのが Multi-AZ 構成

 高い技術力を持つ DBA が行っていた設計をそのままサービス化

 クラスタエンドポイントは、その時アクティブな Aurora Writer ノードの CNAME

Availability Zone A Availability Zone B

VPC subnet VPC subnet

VPC subnet VPC subnet Aurora Writer Aurora Reader

クラスタエンドポイント

Write

Multi-AZ


フェイルオーバ発生時  フェイルオーバ発生時はAurora ノードの昇格が行われ、クラスタエンドポイントの指し先が変わる

Availability Zone A Availability Zone B

VPC subnet VPC subnet

VPC subnet VPC subnet Aurora Writer Aurora Reader

クラスタエンドポイント

Write

Multi-AZ


キャッシュレイヤの分離 SQL

Transactions

Caching

SQL

Transactions

Caching

SQL

Transactions

Caching

キャッシュプロセスをDBプロセス外におくことで

DBプロセスの再起動でもキャッシュが残る


Aurora のストレージ  SSD を利用したシームレスにスケールするストレージ(最大64TB)

 標準で高い可用性を実現 ◦ 3AZに6つのデータのコピーを作成

SQL

Transactions

AZ 1 AZ 2 AZ 3

Caching

Amazon S3

バックアップ


Aurora のストレージ  2つのディスクが利用不能でも読み書き可能

SQL

Transactions

AZ 1 AZ 2 AZ 3

Caching

Amazon S3

バックアップ


Aurora のストレージ  3つのディスクが利用不能の場合は読み込みのみ可能

SQL

Transactions

AZ 1 AZ 2 AZ 3

Caching

Amazon S3

バックアップ

AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。運用：

メンテナンス（パッチ適用等）  DBAがパッチ当てを行う場合、最新の注意を払って作業時間や作業計画を立てて行う必要があった

 AWS側でメンテナンスウインドウで指定した曜日・時間帯に自動実施

 メンテナンス内容 ◦  セキュリティ、機能追加等に関わるソフトウェアパッチ

 メンテナンスは数ヶ月に一度の頻度で発生(毎週必ずではない）

AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。バックアップ：

Streaming snapshotとPITR  Amazon Auroraでは各セグメント毎にAmazon S3へ継続的に増分バックアップを取得

 Amazon Auroraが使用しているディスクの仕組みによりパフォーマンスへ影響を与えない Aurora Writer

常にストリーミングでバック

アップデータを送り続けている

Amazon S3

5分前まで戻れるバックアップが常に取られて

いる状態


ここでストレージサービス


Amazon Simple Storage Service (S3)  容量無制限 ◦ 1ファイル最大5TBまで

 高い堅牢性 ◦ 99.999999999%

 安価なストレージ ◦ 月額1GB / 約1～4円※

 スケーラブルで安定した性能 ◦ データ容量に依存しない性能

※ 2016.11.22時点


Amazon S3の構成

データセンタ A

データセンタ B

データセンタ C

東京リージョン

AWSリージョンを指定可能

3箇所以上で⾃動複製⾼い堅牢性を実現

ネットワーク越しにファイルを格納

データ

バケット


S3

Glacier

StorageGateway

EBS

安価かつ⾼い耐久性を持つオンラインストレージサービス

超安価かつ⾼い耐久性を持つアーカイブストレージサービス

オンプレミス環境と連携したバックアップ&⼤容量ストレージサービス

仮想サーバ(Amazon EC2)にマウントできるディスクサービス

EFS

複数の仮想サーバ(Amazon EC2)から同時マウントできる共有ストレージサービス


ストレージサービスココマデ


運用自動化／省力化：API & CLI  AWSのサービスは管理画面での作業をAPIやCLIでも行える  各言語用のSDKも用意されているためプログラマブルな処理を簡単に実装可能

最新のDB バッチサーバ on EC21⽇前のDB

S3:DBスナップショット分析⽤の1⽇前のデータが⼊ったデータベースを毎⽇24時にバック

アップデータから作り直す


データベースマイグレーション Database Migration Serviceを使用することによってサーバを新しいものへと移行する事が可能データベースアーキテクチャを変更したい


AWS Data Migration Service (DMS)  異環境、異機種間データベースの移行は大変だった ◦ レプリケーションインスタンスをセットアップすると、ソースDB/ターゲットDB間のデータ移動を実行

◦ 異なるRDBMS間のデータ移動をサポートしているので、商用RDBMSからAurora等への移行も実現

◦ 一括移行（フルロード）、継続同期（レプリケーション）等様々な移行方法

DMS

オンプレRDB

RDS

RDB on EC2

オンプレRDB

RDS

RDB on EC2

※オンプレ to オンプレは未サポート


データベースマイグレーション例  オンプレデータベースからAmazon RDSへのマイグレーション

オンプレRDB

RDB on EC2

DMSインスタンス

Aurora for RDS

VPN/専⽤線経由でレプリケーションを張りクラウド

側へ継続同期


ビッグデータ移行  オンプレでDWH等の非常に大きなサイズのデータベースを移行したい場合など、ペタバイトクラスのデータをどう移行すればいいの？  インターネット経由のコピーでは数ヶ月、専用線接続でも数週間はかかることもある


E-ink 送り状 “8.5Gまでの耐衝撃性”を

担保するパッケージ

エンドツーエンドのデータ暗号化 50TB/ 80TB

10Gb ネットワーク

耐⽔&対ダスト設計

タンパープルーフケース&回路

アプライアンスによるペタバイト規模のデータ転送ソリューションデータのImport/Exportに対応

AWS Import/Export Snowball


通常の⼿順

S3

Snowball 使⽤

初回バックアップ

差分バックアップ


監視適切な監視項目ってなに？障害時に何を対応したらいいの？何を使ったらいいの？検知時に自動で修復したいんだけど？


既存のオンプレ監視構成例

40

corporate data center


AWS環境の監視構成例

AmazonRDS

Amazon CloudWatch

Amazon EC2


データベースサービスの使い分け


データストアの特性による使い分け

Amazon DynamoDB

Amazon RDS

Amazon ElastiCache

Amazon Redshift

SQL

NoSQL•  低レンテンシ•  インメモリ

•  3拠点間でのレプリケーション

•  SSDに永続化

•  トランザクション処理

•  汎⽤⽤途

•  集計・分析処理•  ⼤容量データ•  DWH


Amazon RDS  RDBをマネージドで提供するサービス ◦ 様々なデータベースエンジンが使用可 ◦ 高可用性 ◦ フェイルオーバ、バックアップ、監視

◦ Aurora等の先進的な試み

 ユースケース ◦ 殆どのユースケースにマッチ◦ 課⾦系（トランザクション）


Amazon DynamoDB  完全マネージド型の NoSQL データベースサービス ◦ ハイスケーラブル、低レイテンシー、高可用性 ◦ プロビジョンドスループット ◦ ストレージの容量制限がない

 ユースケース◦ 広告配信◦  DMP◦ センサーデータ◦ ゲーム◦ モバイルアプリケーションのバックエンド


Amazon ElastiCache インメモリキャッシュをマネージドで提供するサービス ◦  キャッシュクラスタを数クリックで起動 ◦  2種類のエンジン(Memcached, Redis)をサポート

 ユースケース◦  アプリケーションキャッシュ◦  セッションキャッシュ


Amazon Redshift  クラウド上のマネージドDWH ◦  最大128ノードの並列処理 ◦  160GBから最大1.6PBまで拡張可能 ◦  PostgreSQL互換のSQL

 ユースケース◦  ユーザ⾏動解析◦  ログ分析◦  業務分析

⼤規模分散処理で分析SQLを

⾼速実⾏


まとめ


クラウドアーキテクチャ

⾃動バックアップスナップショット(⾃動/⼿動)

データ同期

⾮同期レプリケーション

⾃動フェイルオーバー

Binlog(トランザクション

ログ)（5分間隔)


ログ)5分に1度保存

Binlog

S3 Availability Zone A Availability Zone B


既存のアーキテクチャ（例）

⾃動バックアップフルバックアップ(⼿動)

データ同期実装


フェイルオーバ実装




ログ)5分に1度保存(⼿

動)

Binlog

ストレージサーバデータセンタA データセンタB


既存のアーキテクチャ（例）

⾃動バックアップフルバックアップ(⼿動)

データ同期実装


フェイルオーバ実装




ログ)5分に1度保存(⼿

動)

Binlog

ストレージサーバデータセンタA データセンタB

データセンタAが失われるとバックアップも失われて

本末転倒

太い専⽤線を引く

サーバ発注／サーバ構築／ラッキング／NW配線など

など

レプリを貼る作業を⾏う

⼤変！！！




データ同期







Binlog





データ同期







Binlog


らくらく！！！


まとめ  クラウドでしか実現できない事を実現するためのピースとしてのストレージやデータベースサービスの紹介  AWSの提供する各種サービスを上手く選択する事で少ない労力でサービスの開発スピードの最大化、運用負荷の最小化も可能となる  ユースケースによって適切なサービスを使い分ける事が大事


ご清聴ありがとうございました

使ってみよう！ データベースとストレージroadshow.awseventsjapan.com/doc/crs-osaka-aws-04.pdf · AWS DATABASE AND STORAGE SERVICES . AWS Cloud Roadshow 2016...

Documents

使ってみよう！データベースとストレージroadshow.awseventsjapan.com/doc/crs-osaka-aws-04.pdf · AWS DATABASE AND STORAGE SERVICES . AWS Cloud Roadshow 2016...