The Past, Present, and Future of Data Management...多くのミックス・ワークロード • ペタバイト級のウェアハウス • オンライン金融トレーディング

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

The Past, Present, and Future of Data Management

Juan Loaiza Senior Vice President Oracle Database Systems April 10, 2016

1


Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

2


Oracleは2位以下を大きく引き離して最も人気のあるRDBMSを維持

3

Source: Gartner “Market Share: All Software Markets, Worldwide 2015”, March 31, 2016

競合他社の売上の倍以上

Oracle 45.6%

Microsoft, 19.1%

IBM, 15.7%

SAP, 9.6%

Teradata, 3.2% Others, 6.8%


Source: IDC, Worldwide Business Analytics Software Market Shares, 2014: Line of Business Drives Cloud and Visual Discovery Adoption, Aug 2015, Doc # 258146

Oracleはさらに2位以下を大きく引き離して最も人気のあるData Warehouseプラットフォームも継続

Oracle 38%

Microsoft 18%

IBM 18%

Teradata 11%

SAP 8%

Others 7%

競合他社の売上の倍以上

http://www.idc.com/getdoc.jsp?containerId=258146




Oracle DatabaseはGartner社の「Critical Capabilities for Traditional Transactions」において最高の評価を獲得

Gartner, Critical Capabilities for Operational Database Management Systems, Merv Adrian, Donald Feinberg, Nick Heudecker, Adam M. Ronthal, Terilyn Palanca,09 December 2015This graphic was published by Gartner, Inc. as part of a larger research document and should be evaluated in the context of the entire document. The Gartner document is available upon request from [insert client name or reprint URL].Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings or other designation. Gartner research publications consist of the opinions of Gartner's research organization and should not be construed as statements of fact. Gartner disclaims all warranties, expressed or implied, with respect to this research, including any warranties of merchantability or fitness for a particular purpose.


Oracle Databaseは Gartner社の「Critical Capabilities for Hybrid Transactions/Analytic Processing (HTAP) 」において最高の評価を獲得

Gartner, Critical Capabilities for Operational Database Management Systems, Merv Adrian, Donald Feinberg, Nick Heudecker, Adam M. Ronthal, Terilyn Palanca,09 December 2015This graphic was published by Gartner, Inc. as part of a larger research document and should be evaluated in the context of the entire document. The Gartner document is available upon request from [insert client name or reprint URL].Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings or other designation. Gartner research publications consist of the opinions of Gartner's research organization and should not be construed as statements of fact. Gartner disclaims all warranties, expressed or implied, with respect to this research, including any warranties of merchantability or fitness for a particular purpose.


Forrester社はOracleを Enterprise Data Warehouseにおける既存オファリングと戦略において最高位に位置付け

http://www.oracle.com/us/corporate/analystreports/forrester-enterprise-data-warehouse-2811129.pdf

The Forrester Wave™ is copyrighted by Forrester Research, Inc. Forrester and Forrester Wave™ are trademarks of Forrester Research, Inc. The Forrester Wave™ is a graphical representation of Forrester's call on a market and is plotted using a detailed spreadsheet with exposed scores, weightings, and comments. Forrester does not endorse any vendor, product, or service depicted in the Forrester Wave. Information is based on best available resources. Opinions reflect judgment at the time and are subject to change.

http://www.oracle.com/us/corporate/analystreports/forrester-enterprise-data-warehouse-2811129.pdf


Oracle Databaseは Gartner社の

「Data Warehouse Magic Quadrant」において最高の実行能力に位置付け

Gartner, Magic Quadrant for Data Warehouse and Data Management Solutions for Analytics,Roxane Edjlali, Mark A. Beyer, 25 February 2016 This graphic was published by Gartner, Inc. as part of a larger research document and should be evaluated in the context of the entire document. The Gartner document is available upon request from [insert client name or reprint URL].Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings or other designation. Gartner research publications consist of the opinions of Gartner's research organization and should not be construed as statements of fact. Gartner disclaims all warranties, expressed or implied, with respect to this research, including any warranties of merchantability or fitness for a particular purpose.

Report publicly available at https://www.gartner.com/doc/reprints?id=1-2ZNGHF0&ct=160226&st=sb

https://www.gartner.com/doc/reprints?id=1-2ZNGHF0&ct=160226&st=sb



Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |

Oracle Databaseは継続的なイノベーションと改善

• 長期間にわたってOracleはデータベース市場でリーダーであり続けた理由 • Oracleは継続的に主要な新機能を追加してきた

– Multiversion Read Consistency, Parallel Execution, Partitions, Replication – Data Guard, RAC, RMAN, Analytic Queries – Exadata, In-Memory Database, Multitenant, JSON, Big Data, Cloudなど

• それぞれのイノベーションはデータベース技術の新しいブランチとなる –それから継続的にエンハンスされ改善される – 「完了した」とか「もう十分」ということは存在しない

• 今まで以上にデータベースにはもっともっとイノベーションと興奮がある

9


アジェンダ – それぞれのデータベースの分野で説明 • 3つの時代における過去のイノベーションと未来のイノベーション

10

Cloud Epoch Internet Epoch Client-Server 時代

1990s 2000s 2010s

Oracle 5, 6, 7, 8 Oracle 8i, 9i, 10g Oracle 11g, 12c

Scalability

Availability

Analytics

Security

Developers

Management

Integration


Scalability – 継続的なイノベーションと改善

11

Cloud 時代 Internet 時代 Client-Server 時代 1990s 2000s 2010s


Scalability 行レベルロック Bツリー索引

読み取り一貫性Parallel Server 共有カーソル共有サーバー

Real Application Clusters Automatic Storage Mngmt - ASM

Advanced Compression 索引構成表

ビットマップ・インデックス

Exadata Smart Flash

In-Memory DB Software-in-Silicon Native DB Sharding


Exadataのビジョンすべてのデータベース・ワークロードを劇的に改善

12

オンプレミスおよびOracle Public Cloudに理想的 Exadata Cloud Service

• データベースに理想的なハードウェア – スケールアウトし、データベースに最適化されたサーバー、ネットワーキング、ストレージによって、最速のパフォーマンスとコストを実現

• Smart System Software –独自のアルゴリズムにより、OLTP、分析系、DB統合などあらゆる種類のデータベース処理を大幅に高速化

• フルスタックの統合 – データベースからディスクまでの最適化、自動化、事前テスト済み、一括したパッチ提供、サポートサービスによる運用コストの削減


2008年の登場以来、数千ものミッションクリティカル環境に導入され実績は証明済半数はOLTP – 半数はアナリティクス – 多くのミックス・ワークロード

• ペタバイト級のウェアハウス

• オンライン金融トレーディング

• ビジネス・アプリケーション – SAP, Oracle, Siebel, PSFTなど

• 大規模なDB統合

• パブリックSaaS クラウド – Oracle Fusion Apps,

Salesforce, SASなど

13

銀行業、通信業、小売業で

上位5社のうち4社がExadataを使用


• スケールアウト可能な 2 ソケット Database Server – より高速なインテル 22 コア E5-2699 v4 (Broadwell)

CPU - 25% 高速化

• 統合された超高速InfiniBand内部ネットワーク

• スケールアウト可能でインテリジェントな 2 ソケット Storage Server – インテル 10 コア Broadwell CPU(25% 高速化)

• データベース処理をオフロード – 8TB ヘリウムディスク・ドライブ (2倍の容量/2015/10～) – 2倍のデータ容量、2倍の速度の3D V-NAND NVMe Flash カード

Exadata X6-2 Hardware 詳細 (変更点は赤字)

14

High Capacity (HC) Storage

Extreme Flash (EF) Storage

Database Server

• High Capacity Rack - 1.3 PB Disk, 180 TB PCIe Flash • Extreme Flash Rack - 360 TB PCIe Flash

25.6 TB PCI Flash 20 CPU cores

44 CPU cores

12.8 TB PCI Flash 96 TB disk

20 CPU cores


Exadata X6はDB I/O性能をブレイクスルー

15

2.5X 301 GB/sec 分析スループット

560万OLTP Read IOPS 520万 OLTP Write IOPS

240万 IOPS時に250 us I/Oレイテンシ

(ラックを追加すればさらに拡張可能)

Performance of 1 Exadata Rack with 10 DB servers and 12 Extreme Flash storage servers


Exadata X6のI/OはAll-Flash EMCより遙かに高速

16

24

301

0

50

100

150

200

250

300

350

8 X-Brick EMCXtremIO

1 Rack HCExadata

GB/

sec

12X

Analytic Scans

2 M

0

1

2

3

4

5

8 X-Brick EMCXtremIO

1 Rack HCExadata

OLTP Write IOPS

2.5X 5.2 M

EMC のパフォーマンスはこれ以上スケールしないが Exadataはラックを追加すればスケール可能

• 1台のHigh Capacity構成の Exadataラックで最高速構成のEMC XtremIO all-flash arrayをすべての性能メトリックにおいて凌駕する –12倍以上のスループット –2.5倍以上のIOPS –2倍以上高速なレイテンシ


Smart Analytics

• ストレージからデータを取り出して問い合わせではなく、問い合わせ処理をストレージで

• 100倍アナリティクスを高速化

Smart Storage

• データベースを認識するフラッシュ・キャッシュにより大容量ディスクでフラッシュ・スピードを実現

• ハイブリッド・カラムナー圧縮により利用スペースを1/10に削減

17

Smart OLTP

• 特別なInfiniBand プロトコルによって最高のスピード、レイテンシのOLTPを実現

Smart Consolidation

• CPU,ネットワーク, I/Oのワークロード優先制御によって 4倍多くのDB統合を実現

Smart System Software ハイライト

PCI Flash


Exadataはより多くの Smart System Softwareを実装

18

Smart Analytics • データスキップするStorage Index • 最小/最大処理のストレージへのオフロード

• オフロードは自動的にSQLアクセスをすべてのストレージサーバーに

• Data Miningストレージ・オフロード • LOB/CLOBストレージ・オフロード • 表スキャン時の自動フラッシュ・キャッシュ

• DB Serverへのリバースオフロード • 索引高速フルスキャンオフロード • FIPSコンプライアンス準拠の暗号データ・スキャンのオフロード

• JSON/XMLオフロード

Smart OLTP • Active AWRでエンドトゥエンド監視 • Smart write-back flash cache • テスト/開発用のスナップショット • Database scoped security • フルスタック・セキュリティ・スキャン • Exachk フルスタック検証 • インスタント・データファイル作成 • Virtual Machines • Smart Flashロギング • 重要なDB処理を超高速レイテンシにするため常にキューの先頭に配置

• DBから直接InfiniBandアクセスすることで3倍高速なOLTP メッセージング

• InfiniBand パーティショニング

Smart Availability • 重要なファイルの優先リバランス • 誤ったディスク障害の排除 • フラッシュとディスクのライフサイクル管理アラート

• Cell ソフトの透過的なリスタート • I/O hang hardening • ミラーサーバーの障害に伴うシャットダウンの防止

• In-memory fault tolerance • データ整合性検証 (HARD) • 自動的なディスクの掃除と修復 • ノード障害の即時検知 • Sub-second capping of I/O latency

by rerouting I/Os to faster storage


Smart Analytics

• Database In-Memory の列フォーマットをストレージ・サーバーに

• ストレージ上で集計処理

Smart Consolidation

• 階層スナップショット • 自動VLAN 作成*

19

Smart OLTP

• Smart Fusion Block Transfer によってノード間のブロック移動に伴うログ書込みを排除*

• フルスタックでの自動化されたローリング・アップグレード

Smart Availability

• 2.5倍高速なソフトウェア更新* • High redundancy QuorumディスクをQuarter およびEighth rackで構成*

プレビュー: 最新のSmart System Software

Products

*リリース済みの機能

Sparse Snap

Base DB

Sparse Snap

CDB


Oracle Database In-Memory

OLTPデータを直接操作

リアルタイムアナリティクス

アプリケーションの変更不要

実装が容易

100x

20


Oracleのデュアル・フォーマット・アーキテクチャ • 同じテーブルで行および列

フォーマットを同時に持つ

• 常に同期をしており、トランザクションの一貫性を担保

• OLTPでは実績のある行フォーマットを使用

• アナリティックやレポーティングでは新しいインメモリ列フォーマットを使用 • 永続性はなく、ロギングしない • すぐにデータを変更:高速OLTP

• スケールアップ・アウト可能 21

Normal Buffer Cache

New In-Memory Format

SALES SALES Row

Format Column Format

SALES


SPARC M7 Software in Silicon

22

• 従来のDBアルゴリズムはチップには複雑すぎる –大きな変化: In-memory columnarは遙かにシンプル

• SPARC M7は革命的な性能を提供 –従来型のマイクロプロセッサとしても最速-32コアチップ – In-Memory DB 処理を直接チップ上で実現

• Software-in-Silicon – Database In-Memory Accelerationエンジン(DAX) – Security in Silicon – きめ細かくオーバーヘッドの少ないメモリ保護 – Capacity in Silicon – リアルタイムDecompressionエンジン

SPARC Software in Silicon


Database Shardingとは?

• RAC とData Guardでアプリケーションの透過性を担保しながら99%以上のアプリケーション要件を満たすことができる

• いくつかの世界中にスケールするようなアプリケーションにおいて独立したデータベースのファームが求められることがある - これがDatabase Sharding –巨大なシングル・イメージのデータベースでのスケーラビリティや可用性の限界を回避

–ファーム内で決まったデータベースにワークロードをルーティングするためにアプリケーションの修正が必要

• NoSQLデータベースはShardingの構築は容易。Oracle DatabaseでもネイティブなShardingを実装することで容易に構築できるようになる

23

Shard DB #1

B A

D C F E H G

Shard DB #2

Shard DB #3

J I L K

B A

D C F E

H G J I

L K

One Giant DB to Many Small DBs

Table Partitions


Availability – 継続的なイノベーションと改善

24



Availability トランザクション参照整合性

クラッシュ・リカバリオンラインバックアップ Point-in-Timeリカバリ

Fast-Start

Data Guard (Active) Recovery Manager

Flashback Query/DB/Table Portable Clusterware

オンラインDDL Transparent App Failover

Zero Data Loss Recovery Appl Edition Based Redefinition

Application Continuity


Zero Data Loss Recovery Appliance

25

RMAN Delta Push • DBからは変更点のみを送付

• 本番には最小の影響 • Data Guard-likeなリアルタイムの

REDO送付の仕組みで容易に新規トランザクションを保護

保護対象のデータベース

データセンターのすべてのDBを保護

•ペタバイト級のデータ、多くのDBリリース

•負荷の高いバックアップ・エージェント不要

テープバックアップをオフロード

ZDLRA Delta Store – 大規模な変更管理DB •検証済みで圧縮されたDB変更情報をディスクに保管 • Deltaを使ってあらゆるポイント・イン・タイムに高速にリカバリ

•拡張性と耐障害性のためExadata上に構築

ZDLRA

リモートの ZDLRA にレプリケート

Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 26

Recovery Appliance – 世界中に展開


高可用性をアプリケーションまで拡張

• Edition Based Redefinition –ダウンタイムなしのアプリケーション・アップグレードをサポート –オンラインで表定義や索引やストアド・プロシージャ、ビュー、シノニムを変更可能

– Oracle E-business SuiteやSalesforceで実装済み

• Application Continuity –アプリケーションがサーバーやサイト障害から透過的に稼働 –透過的に再接続し、失われた処理を再実行

• 開発者はこれらのツールを理解して利用するべき

27


Analytics – 継続的なイノベーションと改善

28



Analytics パーティション表/索引パラレル・クエリー(SQL) コスト・ベース・オプティマイザ

階層問い合わせダイレクト・データロード

分析関数 Data Mining

OLAP マテリアライズド・ビュー Resource Manager スター・ジョインビットマップ索引

Big Data Appliance SQLパターンマッチング

R Analytics


Oracle Big Data Appliance

• 一般的な利用方法 – HadoopやSparkのワークロード – Oracle Data WarehouseとETLをBig Dataへ拡張

• 事前統合済み、事前チューニング済み – 45%低コスト- お客様自身による構築 (DYI)1に比べ

– 2倍高速 –DIY2に比べ

– 35%早い時間で価値を実現1 • Cloudera Enterprise Data Hub Edition • 最先端のサーバー – InfiniBand接続

29

1: http://www.oracle.com/us/technologies/big-data/eng-systems-for-big-data-esg-wp-2852701.pdf 2: http://www.oracle.com/ocom/groups/public/@otn/documents/webcontent/2745435.pdf

オンプレミスおよび Oracle Public Cloudに理想的


Security – 継続的なイノベーションと改善

30



Security 権限とロール監査

ネットワーク暗号化ビュー

データ暗号化 Label Security

Virtual Private Database Data Masking

Database Vault Audit Vault

Single Sign-On/Public Key Inf

Real Application Security Database Firewall Privilege Analysis

Redaction Key Vault


Security • Real Application Security

–エンドユーザー認証と権限管理をデータベースに拡張 –データアクセスをアプリケーション毎ではなく集中的に管理

• Database Firewall –データベース処理を深く分析するソフトウェア・ファイアーウォール

• Privilege Analysis –自動的にアプリケーション実行のための最小権限を見つける

• Redaction –機微なデータの返り値をマスク (例クレジット・カード番号)

• Key Vault – 暗号鍵を集中管理 31


Developers – 継続的なイノベーションと改善

32



Developers SQL, ビュー PL/SQL, トリガー

ラージオブジェクト(LOB) ユーザー定義型

Spatial テキスト検索

Java in Database Native XML

テーブル・ファンクション Extensibility Framework PHP, .Net, Visual Studio

仮想列 Application Express

SQL Developer

Native JSON REST Data Services

Node.js RDF Social Graph Network Graph

Continuous Query Notify


Oracle DatabaseでのネイティブJSONサポート • 開発者に使いやすいスキーマレス・データストレージ • 列内のJSONはSQLの新しい関数からアクセス可能

– JSON_VALUE, JSON_TABLE, IS JSON, Dot Notation

• JSON関数はJSON Pathを使用しJSONオブジェクトを指定 • SQLシンタックスはIBMと共同開発

• select c.json_doc.name.last, c.json_doc.address.city from customers c;

• すべての既存のOracle機能はJSONデータで使える • ファンクション索引を使うことでJSONエレメントに索引を作成することが可能

33

SQL

JSON


Management – 継続的なイノベーションと改善

34



Management Enterprise Manager V$ ビュー実行計画

待機イベント SQLトレース

Diagnostics Pack Tuning Pack

Testing Packs Lifecycle Pack

AWR, ASH SQL Monitor

Multi-Tenant Database Database Appliance

Database & Exadata Cloud


Oracle Multitenant データベースを統合し、Many as Oneで管理するための新しいアーキテクチャ

35

ERP CRM DW

各アプリケーション毎に自己完結型のPDB • アプリケーションは変更なしで実行 • 高速なプロビジョニング (クローンすることで) • プラグすることで移動可能 – バージョン間を超えて

メモリとバックグラウンド・プロセスを共通化 • 同じサーバーで5倍以上のアプリケーションが動作

共通の処理はCDBレベルで実行 • Many as Oneで管理 (upgrade, HA, backup) • CPUとI/O使用を細かく管理

Multitenantは大幅にソフトウェア管理コストを削減, 仮想マシンだと管理コストは増大してしまう


Changes Everything

前例のない: – 容易さ – 柔軟性 – 費用の節約 – Time to Market


妥協のないクラウド • クラウドへの移行に際して多くのアプリケーションを書き換える必要がある… –選択肢ではない

• クラウドへの移行に際してサービス品質に妥協が必要… –選択肢ではない

• クラウドへの移行に際して、全部クラウドに載せるか載せないかを選ぶ… –選択肢ではない

37

Exadata Cloud Service

“Cloud Without Compromise”


OracleのPlatform-as-a-Service戦略ハイブリッドクラウドを通じて完全なポータビリティを提供

同じアーキテクチャ同じソフトウェア同じスキル

オンプレミス Oracle Cloud

38


Oracle Database Exadata Cloud Service • すべての高機能なオプションを搭載した完全なOracle Database

– ミッションクリティカルOLTP/DW用の#1データベースをそのまま使える

• クラウド・プラットフォームで最速かつ最高の可用性を提供するデータベース – スケールアウト・サーバー/インテリジェント・ストレージ、InfiniBand、

PCIe flash – オーバープロビジョニングはなくテナントごとにリソースは独立

• すべてのパブリック・クラウドのベネフィット – すぐに使えて、柔軟性があり、Web Drivenのプロビジョニング – Oracleのエキスパートがインフラの配置と運用 – 固定資産はなしで月額使用料で利用

39

FINANCE

SALES

CALL CENTER

HR

SUPPORT

SUPPLY CHAIN

最高のオンプレミスを最高のクラウドに


Integration – 継続的なイノベーションと改善

40



Integration データベース・リンク 2フェーズ・コミット

Heterogeneousサービスレプリケーション

アドバンスト・キューイング

GoldenGate XAトランザクション

外部表マイグレーション (SQL Developer)

Big Data SQL Big Data Analytics


• Oracle Databaseはマルチモデルを堅持

– リレーショナル – XML – JSON – テキスト – Graph & Spatial

• すべてがSQLとトランザクションでアクセス可能

• 複数のシングルモデル・データストア(polyglot)

41

様々なデータモデルとPolyglotをサポート

• 超並列SQLクエリーをOracle, NoSQLおよびHadoopにまたがって実行 – ExadataのようにBig Dataストア内でフィルタリングをオフロード

– すべてのOracle SQL機能が複数のデータストアにまたがって実行可能

– Big Data Applianceは必須ではない

Big Data SQL


結論 – Oracleは継続的なイノベーションによりリーダーであり続けている

42


Oracle 5, 6, 7, 8 Oracle 8i, 9i, 10g Oracle 11g, 12c Scalability 行レベルロック、Bツリー索引、読み

取り一貫性、 Parallel Server, 共有カーソル、共有サーバー

Real Application Clusters, Automatic Storage Management, IOTs

Advanced Compression, ビットマップ索引

Exadata, Smart Flash, In-Memory DB, Software-in-Silicon,

Native Database Sharding

Availability トランザクション,参照整合性,オンライン・バックアップ,Point-in-Timeリカバリ

Data Guard (Active), Recovery Manager, Flashback, Clusterware, Online DDL, TAF

Zero Data Loss Recovery Appliance, Edition Based Redefinition, Applic Cont

Analytics パーティショニング、パラレル・クエリー、オプティマイザ

分析関数、Data Mining, OLAP、マテリアライズド・ビュー

SQL パターンマッチング、 R, Big Data Appliance

Security 権限、ロール、監査、ネットワーク暗号化、ビュー

データ暗号化、マスキング、VPD, Label Security, DB Vault, Audit Vault, PKI

Real Application Security, DB Firewall, Privilege Analysis, Redaction, Key Vault

Developers SQL、ビュー、 PL/SQL、トリガー、 LOB,オブジェクト型、 Spatial, Text

Java in DB, Native XML, Table Functions, .Net, PHP, App Express, SQL Developer

Native JSON, REST Services, Node.js, RDF Social Graph, Network Graph

Management Enterprise Manager, v$, 待機イベント Diagnostics, Tuning, Testing, Lifecycle Packs MultiTenant, DB & Exa Cloud, ODA

Integration DB リンク、2PC、レプリケーション AQ GoldenGate, XA トランザクション, 外部表 Big Data SQL, Big Data Analytics

The Past, Present, and Future of Data Management...多くのミックス・ワークロード • ペタバイト級のウェアハウス • オンライン金融トレーディング

Documents