JAWS-UG Osaka Special re:Invent 2013
Post on 30-Jun-2015
927 Views
Preview:
DESCRIPTION
Transcript
re:Invent報告2013.11.29
金春 利幸(R3 institute)
Introduction
金春 利幸(こんぱる としゆき) アールスリーインスティテュート マネージャー&ソリューションアーキテクト FB: t.konparu twitter: t_konparu
2
re:Invent 初参加してきました
今回はそのご報告です
AAの機内食はエサ感満載
AAの機内食はエサ感満載
THE 炭水化物
以上、報告でした
システム開発会社の 人間としての感想は
きた!
AWSはもはや 「インフラ」ではない
いい色の絵の具をみたら絵を描きたくなるように 新しい音色を聞いたら曲のイメージが湧くように 新しいスニーカーを買ったら走りたくなるように
今回の新サービスで 想像力をかきたてましょう
Amazon Kinesis
記事とか読んだけど ピンとこない人?
Amazon Kinesisは リアルタイム分析 プラットフォーム
です
は?
想像してください
あなたはTwitter関連サービスの開発者です
ある日上司に言われました !
「ハッシュタグの登場回数カウントして!」
「あっ、バッチじゃダメだよリアルタイムね」
は?(゜_゜)
膨大なデータくるよな・・・ ちゃんと受け取るには・・・
ハッシュタグで分類するには・・・ カウントの負荷読めないよな・・・
そんなあなたに Amazon Kinesis
リアルタイムに 不規則に
発生するデータを 漏らすことなく
スマートに処理するための仕組み
Amazon Kinesis
データ 発生元
Shard
Shard
Shard
Shard
App
App
App
App
S3 RDS
DynamoDB RedShift Kinesis
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#awsサンタ C3インスタンスにEBS Optimized
#awsサンタ Workspacesにもっとスペックを
#iegg 2/15はクロスエッグだよね
Amazon Kinesis
Shard
Shard
Amazon Kinesis
Shard
Shard
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#awsサンタ C3インスタンスにEBS Optimized
#awsサンタ Workspacesにもっとスペックを
#iegg 2/15はクロスエッグだよね
Amazon Kinesis
Shard
Shard
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#awsサンタ C3インスタンスにEBS Optimized
#awsサンタ Workspacesにもっとスペックを
#iegg 2/15はクロスエッグだよね
GetNextRecord
Kinesis App
Kinesis App
Amazon Kinesis
Shard
Shard
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#awsサンタ C3インスタンスにEBS Optimized
#awsサンタ Workspacesにもっとスペックを
#iegg 2/15はクロスエッグだよね
Partion Key
12
3
4
56
GetNextRecord
GetNextRecord
Kinesis App
Kinesis App
Amazon Kinesis
Shard
Shard
#jawsug っていいよね#jawsug すごいよね
#jawsug 大阪熱いよね
#awsサンタ C3インスタンスにEBS Optimized
#awsサンタ Workspacesにもっとスペックを
#iegg 2/15はクロスエッグだよね
Partion Key
12
3
4
56
GetNextRecord
GetNextRecord
Kinesis App
Kinesis App
Amazon Kinesis
Shard
Shard
#jawsug っていいよね#jawsug すごいよね
#jawsug 大阪熱いよね
#awsサンタ C3インスタンスにEBS Optimized#awsサンタ Workspacesにもっとスペックを
#iegg 2/15はクロスエッグだよね
Partion Key
12
3
4
56
GetNextRecord
DynamoDB
Kinesis App
Kinesis App
#jawsug: 3
#awsサンタ: 2
#iegg: 1
できた!
Twitterのストリームなんか処理することないし・・・
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#awsサンタ C3インスタンスにEBS Optimized
#awsサンタ Workspacesにもっとスペックを
#iegg 2/15はクロスエッグだよね
レタス
はくさい
はくさい
キャベツ
キャベツ
レタス
POSから送られるデータからリアルタイムで売れてる
商品を探せ
あっ! ってなった人?
もうあなたは Kinesis使えます
Kinesis Client Library(KCL)Kinesis Appを作りやすくする便利ライブラリ
APIを直接使わなくても簡単に使える データを処理するWorkerの生成 各Shardに対してWorkerがちゃんとつくように制御 Shard増減時のWorkerの増減 処理中にWorkerが死んだときの再処理制御 AutoScaling時にWorkerとShardの割当を自動的に調整
Limited Previewの申込はこちら
http://aws.amazon.com/jp/kinesis/
RDS for PostgreSQL
やっとか・・・
Keynoteでの発表時に会場から 「Yeah!!!!!!!!!!!!!」 の声が上がりました
海外ではMySQLがOracleに買収されてからOracleがオープンソースに素っ気ないので、PostgreSQLに乗
り換える動きが出ています
日本は、元々なぜかPostgreSQLの人気が高く利用者も多いです
日本のAWS界隈でも RDSが出た当初から 「ぽすぐれを・・・」 と声が上がっていました
やっとか・・・
基本、全部入りですDB Snapshot Multi-AZ
Automated Backup Point-in-time Recovery Provisioned IOPS
PostgreSQL独自機能もサポート
PostGIS PL/PGSQL など
1つだけ・・・
リードレプリカ がありません
そのうちできるようになると思います
PostgreSQLのバージョンは9.3.1
バージョン8などを使っている人をちゃんと検証を!
PostgreSQLはバージョン上げると 「SQLが通らなくなったり」 「通るんだけど結果が違う」
とかあります (実話です)
注意
RDS Cross-Region Read Replica
リードレプリカを リージョンを またいで作る
出典:http://aws.typepad.com/aws_japan/2013/11/cross-region-read-replicas-for-amazon-rds-for-mysql.html
書き込みは Masterへ
読み込みは Replicaで分散
レプリケーションの速度は CloudWatchで監視
Thank You! Join Us
http://www.r3it.com/
top related