C37 【マクロミル】カラム型データベースで分析システムを40倍高速化 by Masahiro Hayashi, Shin Takizawa, Masaya Ishikawa

【マクロミル】カラム型データベースで

分析システムを40倍高速化

2012/11/15 17:00～17:45

マクロミル 林 正浩、瀧澤 伸インサイトテクロノジー 石川 雅也

2

親友に心の底から奨められるモノありますか？

最近のリサーチの定番ロイヤリティ指標：ＮＰＳ （Ｎｅｔ Ｐｒｏｍｏｔｅｒ Ｓｃｏｒｅ）「このサービスを同僚や友人に薦められますか」

3

親友に心の底から奨められるモノありますか？あなたが友人や家族に

心の底から奨められるモノは何ですか？

4

はじめに

親友に心の底から奨められるモノありますか？

5

はじめに

多数の友人にも奨め、自身でも大人買いしています。

6

はじめに

Vectorwiseも今では無くてはならないもの多くの方に自信をもって薦められるテクノロジー

しかし、我々も出会ったのはつい１年前無知から今日までのいきさつを赤裸々に共有します

7

どんな現場だったのか：弊社紹介

ネットリサーチのリーディングカンパニー 東証１部上場 従業員数：836名 （連結） 連結売上：171億円、経常利益：40億円

（2013年6月期決算） 売上前年比：120% 過去最高の収益を実現 非連続的成長を目指し

新規事業への積極的投資行っております

大企業的なFactベースの決裁プロセスが必須

8

どんな現場だったのか： 弊社ＤＮＡ

「早い」 「安い」 「旨い」 を実現したい

リサーチ“牛どん化”計画、ネットリサーチの分野では成功

より広範囲なクライアントのマーケティングニーズに応えたい

新規事業として食品・日用品メーカーの意志決定の起点であるPOSデータの提供をしたい

9

どんな現場だったのか： ＰＯＳシステムの概要

数百億件の集計を10秒以内で処理する必要ありかつ 格安で実装したい

データ提供元弊社

POSシステムクライアント様

ドラッグチェーン

スーパーチェーン

その他

食品メーカー日用品メーカー

データ件数：数百億データ容量：数ＴＢ

①POSデータ管理システム

③集計システム（クロス集計とグラフ描画）

②Web上での集計指示、結果確認、各種処理（UI）

④運用管理（マスタ管理、クライアント管理）

集計条件を自由に変えられる

結果を画面での確認できる

集計処理レポート作成処理

Ｅｘｃｅｌでのレポート出力可能グラフがオブジェクトである

数千店以上

10

プロジェクトで実現したいこと

POS市場にも 「早い」 「安い」 「旨い」

データ処理スピード（クライアント要望、競合比較）開発期間を極力短納期で。

開発プロジェクトを無事着地させる開発者のモチベーションが全開になるプロジェクト

新規事業→システム投資押さえたいメンテナンス費用も抑えたい

早い

安い

旨い

11

Hadoop＋Oracle

インメモリＢＩツール

ＤＷＨ（バック） BI（フロント）

ＭｙＳＱＬ

Ｗｅｂ（グラフ描画）

レポート主力(Excel Export）

スクラッチ

ハードDB

ミドルウェア

オンプレミス

オンプレミス

オンプレミス

クラウド

PostgreSQL

１０社へＲＦＰ→様々な提案が出てきたが・・・

開発ベンダーからの提案内容

Ａ社

Ｂ社

Ｄ社

ＢＩツール

スクラッチ

Ｃ社

12

レスポンスとコストの双方を満たせるものがない

開発ベンダーからの提案内容

13

ＤＷＨ（バック） BI（フロント）

Ｗｅｂ（グラフ描画）

レポート主力(Excel Export）

ハードDB

ミドルウェア

InsightQube Vectorwise

途方に暮れていたところにＶｅｃｔｏｒｗｉｓｅと出会う想定コスト、要求処理速度の両方を満たせそう

出会い

■インサイトテクノロジー社からの提案

スクラッチ

14

TPC-Hベンチマークの結果はOracleなどと比較し、1/2のハードで,２倍以上の性能,1/5～1/10のコスト→４０倍のパフォーマンスが得られる事になる

出会い

Price/PerformanceUS$/QphH@1TB

0

100,000

300,000

Performance(QphH@1TB)

TPC-H ベンチマークのトップ 8 （Non-Clustered 1TB ） 2012/1現在

Source: www.tpc.org / Jan 10, 2012

400,000

200,000 Sybase IQ15 Dec 2010

164,747

$1.37 US$6.85 US

Vectorwise3 May 2011

$0.88 US

436,788173,962

Microsoft5 Apr 2011

80 cores2TB RAM

32 cores1 TB RAM

$9.53 US $1.86 US

Microsoft30 Aug 2011

Oracle3 Jun 2011

64 cores0.5TB RAM

209,534

Oracle26 Sep 2011

201,487

$4.60 US

80 cores2TB RAM

219,888

$12.15 US

Oracle26 Apr 2010

64 cores0.5TB RAM

140,181

40 cores1TB RAM

Microsoft7 Dec 2011

134,117

$1.30 US

32 cores0.5TB RAM

32 cores0.5TB RAM

TPC-Hのベンチマーク・スコア：QphH:時間毎のトランザクション数（グラフ縦軸：トランザクション数）Price/QphH:トランザクションにいくらの費用（HW、Software、保守*ベンダ指標）がかかったかを示す

15

決定に到った経緯

情報が皆無の状況から検証に取りかかった

国内にはほぼ実績がない 弊社内：「Vectorwise、カラムナーDBノウハウ無し」 開発ベンダー１０数社：「Vectorwise全く知らない」 国内ファーストユーザーになる！？ （なってしまう？！）

「至急、検証して確固たる裏を取れ！」・・・ １．処理スピードは本当に速いのか？ ２．検証は短期間に実施可能か？ ３．実装上で問題が出た場合の体勢に不安はないか？

16

親友に心の底から奨められるモノありますか？検証をどう乗り越えたか開発現場で何か起きたか

検証、実証、開発現場のリアル像

パネルディスカッション

マクロミル 林 正浩、瀧澤 伸インサイトテクロノジー 石川 雅也

18

親友に心の底から奨められるモノありますか？Ｑ．Vectorwise って本当に速いの?

19

親友に心の底から奨められるモノありますか？Ｑ．そもそも検証のは

簡単？

20

親友に心の底から奨められるモノありますか？

Ａ．簡単に試せました

ユーザーズガイド等も日本語化されており、トライしやすかった。

AWSインスタンスでもデータロードスピードの速さにびっくり。処理スピードはすぐに実感できた。

社内の検証用ハイスペックPCはWindows版であったがLinux版とほとんど違いなく動き、独自で検証するハードルが低かった。

採用決定する前段階からインサイトテクノロジー社の多大なるサポートを受けることができた。

21

親友に心の底から奨められるモノありますか？

Ａ．そして本当に速かった

重要マイルストーンである「ローデータ数億件から数千万レコードのGroupByを3秒以内」の目標がすぐに確認できた。

件数を増やしても処理スピード増加率はマイルドであった。

22

親友に心の底から奨められるモノありますか？

Ｖｅｃｔｏｒｗｉｓｅのパフォーマンスを実感したできごと

（動画）

23

親友に心の底から奨められるモノありますか？

Ｑ．Viewを使いたいUnion All View って

使える?

24

親友に心の底から奨められるモノありますか？Ａ．検証して見ましょう!

25

検証結果詳細

詳細検証結果は非公開

→個別検証はインサイトテクノロジー社へご相談ください。

26

親友に心の底から奨められるモノありますか？

Ｑ．カラムナーDBに更新処理を

させても良い?!

27

更新処理 INSERT

28

更新処理 UPDATE

29

更新処理 DELETE

30

親友に心の底から奨められるモノありますか？Ｑ．オンプレとクラウド

どっちがいい?

31

親友に心の底から奨められるモノありますか？Ｑ．他に良かった

ところは?

32

親友に心の底から奨められるモノありますか？

Ｑ．じゃあ悪かったところは?

33

親友に心の底から奨められるモノありますか？

お願い１．難しいSQLだと

オプティマイザが…

34

親友に心の底から奨められるモノありますか？

お願い２．可用性を高める機能が欲しい

35

親友に心の底から奨められるモノありますか？

お願い３．あとは値段が安くなると

最高なのだが…

36

親友に心の底から奨められるモノありますか？質疑応答