How to Use the PowerPoint Template - Oracle开源云管理平台四大流：...

Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |

OPENSTACK+ORACLE HSM 实现海量云存储

杨征高级顾问

甲骨文(中国)系统事业部

1

1

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Oracle企业云策略

完整全面的方案广泛的用户采用本地化

兼容、灵活迁移工程一体化云企业级云技术

2


开源云平台发展趋势 – OpenStack占据主导

社区参与人数社区代码提交次数社区参与机构数

1. 开源云管理平台四大主流：Openstack、CloudStack、OpenNebula、Eucalyptus，其中OpenStack架构活跃度最高，是众多机构和个人的首选开源云平台。

2. 各大主流云计算厂商都转向支持Openstack，获取广泛的生态支持。 3. 每年发布2个版本，快速迭代，以字母表排序；2016年4月发布第13个版本Mitaka ，项目增加迅速，生态系统迅速扩展。


ORACLE 与 OpenStack生态圈

增强运维功能，提供解决方案

Horizon Dashboard

Nova Compute Cinder Block

Storage

Keystone Authentication

Swift Object Storage

Glance Image Mgmt

Quantum Network

REST API

Ceilometer 计量

Heat 服务编排

RedDwar 数据库

Burrow 消息队列

…

虚拟化、基础设施接入

Burrow 消息队列

自动化安装部署监控、告警、报表 Openstack系统

HA

(客户化) 发放、计费大规模调度

Oracle、IBM、Dell、Cisco、Ericsson、Rackspace、HP … Redhat、SUSE、Cannonical、Mirantis、Piston、Nebula …

全球重量级代表性客户： NSA美国国家安全局(政府)、 Facebook(互联网)、 Intel (高科技)、Morgan Stanley（金融业）、 Yahoo雅虎(互联网)…

国内代表性用户：阿里(互联网)、Sina新浪(互联网) 、 JD京东(互联网) 、天河2号(超算)、华为(高科技)、乐视(互联网) 、美团(互联网) …

重量级企业用户大幅增加

1. ORACLE于2013年12月正式加入OpenStack基金会。 2. 从2013年开始，即有众多全球重量级OpenStack用户，成为ORACLE的客户。 3. ORACLE已将OpenStack功能与Solaris、Oracle Linux、ORACLE存储、ORACLE SDN充分集成。

4

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 5

OpenStack架构组件概览

服务内容项目名称功能描述

Dashboard Horizon 提供一个基于WEB的自助服务接口，用来与openstack服务交互。例如生成实例、分配IP地址和配置接入控制等

Compute Nova 管理计算实例的生命周期。功能主要是按需生成、调度、停止虚拟机。

Networking Neutron 提供网络连接服务给其它的组件，例如给compute提供网络服务；提供API让用户自己定义网络并使用；嵌入式的架构能够支持多个网络设备商的产品及技术

Storage Object Storage

Swift 通过RESTful、HTTP格式API存储和检索任意非结构化的数据对象。有高容错能力，并非一个文件系统

Block Storage Cinder 提供永久的块存储给运行中的实例。可嵌入式驱动架构，支持创建和管理块存储设备

Shared services Identity service

Keystone 给其它服务提供认证和授权服务

Image Service Glance 存储虚拟机磁盘镜象，生成实例时调用Glance中的镜像文件

Telemetry Ceilometer 监控和计量云使用情况，包括计费、配额、可扩充性和统计 Higher-level services

Orchestration Heat 通过API使用HOT模板或者AWS CloudFormation模板部署多组件云应用

Database Service

Trove 提供高可靠、可扩充的DBaaS功能，支持关系型、非关系型数据引擎


OpenStack Swift 对象存储架构

Web应用创建出数百亿的小文件；人们上传海量的照片、视

频、音乐，人们每天发送数千亿封电子邮件，仅Facebook

每天都新增数十亿条内容。

传统文件系统，单一文件的检索会涉及到一次详细搜索 —

通常被称为文件遍历(File Crawl) — 完整的索引才能找出某

个文件。该过程消耗了文件系统的大量资源，会影响到所有

的读写操作，而且系统耗费的时间会随着文件系统的扩展而

显著提升。

因此，对象存储成为大部分云存储供应商的首选数据存储模

式，包括Amazon的Web Services、Google、IBM的

SoftLayer、Microsoft的Azure和ORACLE的云存储等…

6


大数据时代的数据非常符合”长尾理论”

$38.5 M

$18.5 M

$1.5 M

不活跃数据9年的总体拥有成本TCO* 1 PB数据按照年增45%计算，9年后约28PB

100% HDD

50% HDD 50% Tape

100% Tape

40%

*Includes cost of equipment, media, maintenance, energy, and floorspace. The Clipper Group, “Revisitng the Search for Long-Term Storage – A TCO Analysis of Tape and Disk”, May 2013

80% 不活跃数据

20% 活跃数据

HDD SSD

or

企业数据

“It is not disk vs. tape, but when and how to use each to

optimize data protection”

- Mark Peters, ESG

7

IDC统计预测未来在10年间数据将增长44倍！


数据应按照其特性/价值进行分类处理

•长期保留

•主要为了法规遵从

•很少访问

•长期保留

•历史数据

•有快速检索的可能

•间歇性访问

•需要快速检索

•频繁访问

少活跃数据活跃数据

低优先级数据冷数据/

非活跃数据

例如: 当前工作目录

例如: 研究数据例如: 历史性财务数据

例如: 文件非活跃>30天


海量数据长期保存—数据的绿色经济(HSM)

基于策略数据迁移

− 经常访问 => Flash/Tier 1 Disk

− 很少访问 => SAS/SATA Disk

− 几乎不访问 => Tape

− 数据保护副本 => Tape

大大减少CAPEX和OPEX

随时需要简单一致的数据访问

Data V

olu

me

Capacity Disk

Archive

Data Mover and Policy

Engine

Data Protection

Performance Disk A

ctiv

ity

TIME

9


ARCHITECTURE WINNING SOLUTION HIGHLIGHTS

BUSINESS RESULTS

案例：某大型互联网提供商，分布系统的领导者

•对象数据通过OpenStack Swift接口写入Oracle HSM存储池

•可存储多份拷贝在磁带中，作为低成本数据保护用

•项目初期数据量达17 PB

•预计后续增长50倍，达850 PB

项目上线即：70亿图像文件数，17PB数据量

Cost-Effective Data Retention Massive Archive Scale Web Interface

Backup software eliminated and reduced storage costs

Oracle Optimized Solution for Tiered Storage Infrastructure Oracle Hierarchical Storage Manager(HSM), Oracle Solaris, ACSLS, Oracle ACS Services

以极低的成本，以Web服务架构，提供海量数据、长期保存

10

Scale to billions and billions of files and >17PB’s of data

Web interface for end users with tape storage on the back end

SL8500 Tape Libraries

QFS Clients Swift Storage

Nodes

Oracle HSM

LTO6 Tape Drives

OpenStack Swift Environment

Swift Proxy Server

External Swift Clients

Tiered Storage Environment

WA

N

WAN


Oracle HSM 6.0 Metadata Server

案例： OpenStack与Oracle HSM的完美结合

SWIFT Proxy Node

External Swift Clients

Disk Array

(6) Swift Storage Nodes (QFS Clients)

10GigE Network

(2) Distributed I/O Servers

SL8500 Tape Library (15) LTO6 Tape Drives

8Gb FC SAN

Fibre Channel Switch

11


ORACLE HSM为多协议访问提供统一存储池

•将存储层抽离出来，松耦合架构，更加灵活。

•各类应用、可通过丰富的协议访问到所有的数据。

• Oracle HSM 为您寻找当前访问最快的拷贝，并自动提供相应的检索服务。

12

Swift

ISV API

CIFS FTP HTTP

WebDAV NFS


Oracle HSM与OpenStack结合的优势

提供OpenStack Swift 基于RESTful API的对象存储支持

为磁带存储提供了Web访问接口

使得低成本的磁带技术，能够方便为Web用户访问

自定义metadata, 没有namespace限制, 近乎无限的扩展能力

无需再配置备份软件

直接为最终用户提供极高性价比的数据存储服务

13

Tape Disk Flash

Oracle Hierarchical Storage Manager v6.0

Swift

http://medianetwork.oracle.com/video/player/3653848713001


案例：某大型国际金融服务机构

•迁移到ORACLE x86平台的Solaris 11系统中 –节省6倍机房空间

–减少3倍服务器数量

–降低3.5倍存储空间，通过ZFS存储压缩技术

–7 PB存储 vs 原Linuxs平台下的 21 PB 存储

15

替换原有的Red Hat和NetApp

AFS Cloud Plant

Storage

AFS Applications

Storage Storage

Storage Storage


ORACLE为OpenStack提供强健支撑

Horizon Centralized Cloud Management

Oracle Solaris, Oracle Linux, Oracle VM

Nova / Ironic Self-Service Compute

and Bare Metal

Oracle Solaris, Oracle Linux, Oracle Virtual

Networking

Neutron Software Defined

Networking

Oracle Solaris, Oracle Linux, Oracle ZFSSA, Oracle FS1,

ORACLE HSM, Oracle Tape Solutions

Cinder / Swift / Manilla Cloud Scale Storage

Oracle Solaris, Oracle Linux, Oracle VM Templates, Oracle Database 12c

Heat / Glance Murano / Trove

Platform as a Service

16


How to Use the PowerPoint Template - Oracle开源云管理平台四大流：...

Documents