© 2008 IBM Corporation IBM solidDB & solidDB Universal Cache 黄庆双 [email protected] 13911050825 IBM 软件部, solidDB Ver. Dec. 2008
© 2008 IBM Corporation
IBM solidDB & solidDB Universal Cache
13911050825
IBM 软件部, solidDB
Ver. Dec. 2008
2
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
关于Solid….
92年成立, 10+年商用历程
Solid的客户包括Airbus、Alcatel、Cisco、HP、Motorola、Nokia-Siemens、NEC、Nortel等几百个知名企业
超过三百万的应用部署
在通信行业广泛使用
快速、灵活、高可靠
业界领先的内存数据库
3
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
Solid遍布各个行业的知名客户
Communications, 73
Cross-Industry, 64
Education, 24Healthcare, 23
Public Sector , 21
Financial Services, 20
Retail , 13
Transportation, 13
Manufacturing, 10
Gaming, 6
e-business, 5
Publishing, 5
Automotive, 3
Unclassified, 45BBUUSCSCOOMM
4
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
Solid在电信行业的应用
Solid部分客户先进的OSS解决方案
– HP OpenView 系列
– Nokia Traffica– Nortel Shasta
高可靠性应用平台
– Siemens TSP7000– Nortel Siren– NEC
智能控制
– SIP 应用服务器、Class 5 软交换、媒体网关、
IMS 控制器 (HSS..)
关键应用
– VoIP– Push-to-Talk– E-911– Online Charging
5
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
IBM solidDB (standalone)
IBM solidDB 产品系列
App
Universal CacheUniversal Cache
App App
IBM solidDB Universal Cache
Applications
6
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
IBM solidDB是…关系型数据库(RDBMS)
高性能数据库服务器– 可扩展性强
– 基于多线程
– 并发控制
– 支持标准:SQL、ODBC、JDBC
– 乐观锁和悲观锁
基于事务– 自动恢复
– 完整的事务处理(ACID)
可嵌入至应用程序– 小内存开销: ~5MB
– 广泛的平台支持
– 链接库或C/S模式
– 零维护
Client Application(s)
ODBC SA JDBC
7
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
solidDB: 全功能的关系型内存数据库
ANSI SQL89, SQL92 及SQL99 ODBC、JDBC 驱动, SA(Solid API) 存储过程触发器和事件完整的事务处理 (ACID) 并发控制事务级别控制
基于成本的优化器多线程数据库引擎Unicode 在线备份自动失败回滚批量加载数据数据导出工具内建计划调度图像管理工具对 BLOB和CLOB 数据类型的强大处理
能力支持多种平台
通讯: • Client/Server • 链接库
磁盘数据库• 完全的检查点• 完全的日志
ODBC SAJDBC
SolidSolid
永久数据
基于磁盘的
引擎
内存引擎
空间要求• 数据库程序:3M• 小RAM要求:5M• 小数据库文件:1M
8
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
特点: 内存和磁盘混合型数据库
双引擎数据库内存数据库磁盘数据库表的存储位置确定基于应用考量对应用程序透明查询操作可以同时访问两种类型的表检查点机制相同,只有一份数据文件性能 大化易于优化
第一款混合型数据库!第一款混合型数据库!
Client RPC
TCP/IP
solid
DB
In-memory tables
SQL engine
远程访问
ODBC SA JDBC
Server RPC
App App App App
In-memorydb engine
Disk storage manager
App链接式应用
App
Flow
连接其它
节点
Disk-based
db engine
HSB
连接HA 节点
数据库文件检查点日志
solid
DB
A
PI
9
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
solidDB 支持的表类型
表类型 特点 创建方式
持久型内
存表内存表默认类型,数据存储在内存中,并有磁盘
映象;支持Log和Checkpoint持久化机制;
支持行级锁、表级锁和事务隔离级别
CREATE TABLE tab_name (col_1 INT, xxxx) STORE MEMORY或DefaultStoreIsMemory=Yes
全局临时
内存表所以数据存储在内存中,没有磁盘映象;不支持
Log和Checkpoint持久化机制;
支持行级锁、表级锁和事务隔离级别;全局可见性能比持久型内存表好;数据不复制到HSB的备节点;
CREATE TRANSIENT TABLE tab_name (col_1 INT, xxxx)
局部临时
内存表所以数据存储在内存中,没有有磁盘映象;不支
持Log和Checkpoint持久化机制;
不支持行级锁,会话级可见;性能在所有表中 好;数据不复制到HSB的备节点
CREATE TEMPORARY TABLE tab_name (col_1 INT, xxxx)
持久型磁
盘表
数据存储在磁盘中,支持Buffer Pool;支持Log和Checkpoint持久化机制;
支持行级锁、表级锁和事务隔离级别;
CREATE TABLE tab_name (col_1 INT, xxxx) STORE DISK或DefaultStoreIsMemory=No
10
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
TM1 v.4.0.1 基准测试(2008-2-6),10分钟的预热和20分钟的采样。128 个并发客户端模拟10万个移动电话用户。solidDB使用异步日志,链接库模式,每5分钟执行检查点。IBM 刀片服务器:2个2.66GHz Intel Xeon双核CPU、4GB内存、Windows Server 2003 RR SP2。
IBM solidDB 内存数据库性能
0
20,000
40,000
60,000
80,000
100,000
120,000
140,000
160,000
0 100 200 300 400 500 600 700 800 900 1,000 1,100 1,200
时间 [s]
MQ
TH
solidDB 6.0 内存数据库 企业级磁盘数据库
solidDB内存数据库能
高达10倍的性能
11
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
solidDB内存数据库引擎的性能 与多处理器的扩展
TM1 基准测试:
模拟HLR 1百万用户数,
80: 20读写比例的工作负
荷; 8个双核AMD CPU;SuSe 10平台
与solidDB 6同一台机器上
32个客户端并发
MQTh = 每秒完成的事务
(TPS)
IBM solidDB 内存数据库引擎
6518
18449
36533
66910
010,00020,00030,00040,00050,00060,00070,00080,000
1 2 4 8
双核CPU数量
MQ
THsolidDB 6.0 内存数据库引擎
13
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
业界领先的高可用功能: Solid HSB(电信级的高可用集群功能)
高可用数据库– 满足5个9或6个9的高可用环境
– 同步的(或异步的)自动事务复制
– 1+1 冗余拓扑
– 对应用程序透明的失败切换
快速切换– 1秒内的失败切换
易于实施– 无需专门的硬件
– 可使用低配置的机器
支持轮替式升级
符合SAF规范 (www.saforum.org)
应用程序
主数据库 从数据库
事务读写操作
事务
读操作
同步/异步复制
可选的数据安全级别
自动恢复功能
14
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
主节点数据库
从节点数据库
solidDB HSB 复制模式
1-safe
2-safe提交
OK
事务同步
OK
提交
OK 异步复制
+ 事务提交响应时间短
-失败接管时,可能会丢失事务
异步复制
+ 事务提交响应时间短
-失败接管时,可能会丢失事务
激活 备用
事务同步
OK
同步复制
+ 失败接管时,不会丢失事务
- 事务提交响应时间稍长
同步复制
+ 失败接管时,不会丢失事务- 事务提交响应时间稍长
响应时间主节点数据库
从节点数据库
1-safe 及 2-safe 复制
15
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
solidDB HSB 性能 vs 单点数据库性能
TM1基准测试:– 单点solidDB数据库(同步日志模式)对比
– solidDB HSB双机架构(2safe同步复制模式)
solidDB HSB数据库比单点数据库更快
711
1465
2034
3269
0
500
1000
1500
2000
2500
3000
3500
单点数据库(同步日志) HA双机架构(同步复制模式)
事务
/秒(
TPS)
R20W80R80W20
16
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
应用程序
虚拟连接
ODBC/JDBC驱动
实际连接 实际连接
主数据库 从数据库
异常 主数据库
HA
TF
solidDB HSB 透明失败切换
独有的独有的TFTF技术技术
Transparent Failover (TF)
在切换后,保留Connection或Session信息
ODBC/JDBC驱动自动识别可用数据库,无需虚拟IP
在API级自动完成失败切换和状态转换,对应用程序透明
即使数据库系统发生了Failover,应用程序也不会中断,不影响应用程序对外提供服务
17
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
solidDB HSB 自动负载均衡功能
集成负载均衡功能集成负载均衡功能
主数据库可读可写,从数据只读
对应用程序透明,由数据库驱动自动将部分只读事务分发到从数据库
充分利用从数据库的硬件资源
提高系统的吞吐率
应用程序
主数据库 从数据库HA
读/写 只读
18
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
solidDB HSB性能: 负载均衡 (80% 读, 20% 写)
挖掘“备用”数据库的读性能以提高系统吞吐量 >60%(该测试)备数据库不再只是“空闲”的备用数据库…
TM1 - solidDB 6.0 Beta (DBE) - Test:R80/W20(2CPU/4core server)
0
5000
10000
15000
20000
25000
1 4 16 64
# of Concurrent Clients
Standard HSBClustered reads 25%Clustered reads 50%
19
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
solidDB HSB性能: 负载均衡(100% 读操作)
读操作密集型的事务大量并发(C/S模式),更能体现solidDB负载均衡优势两个数据库节点能提供2倍吞吐量
TM1 - solidDB 6.0 Beta (DBE) - Test: R100(2CPU/4core server)
0
10000
20000
30000
40000
50000
60000
1 4 16 64
# of Concurrent Clients
Standard HSBClustered reads 50%
23
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
总结:IBM solidDB 关系型内存数据库
App App App
IBM solidDB
极高性能
– 微秒级的查询响应速度
– 每秒以数万计的事务吞吐量
超高可用性
– 失败识别和切换时间低于1秒
– 高达99.9999%的可用性
低成本
– 容易实施和部署,完全支持数据库标准和接口
– 零维护和管理
– 低开发成本、能充分继承现有的数据库经验和
技能
24
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
IBM solidDB (standalone)
IBM solidDB 产品系列
App
Universal CacheUniversal Cache
App App
IBM solidDB Universal Cache
Applications
25
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
IBM solidDB作为前端应用 - solidDB Universal Cache
solidDB作为前端内存数据库,提供...– 快速响应,加速访问关键数据
– 更高的事务吞吐率
– 读写操作
– 与后台数据库双向复制增量数据
后台数据库提供...– 存储所有数据
– 与前端solidDB双向双向复制增量数据
– 写事务的高吞吐量
– 其他应用、OLAP
场景...– 电子商务
– 股票交易
– 电信计费
– 数据采集
App
Universal CacheUniversal Cache
App App
26
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
solidDB Universal Cache 包括什么?
Universal CacheUniversal Cache
solidDB agent
backend database agent
management console
• solidDB 代理:读取内存数据
库的事务日志,并与指定的后台
数据库代理通信
• GUI 工具:用于配置和监
控数据的同步
1
2
3
4
• 内存数据库:关系型的内存数据库
提供高性能
• 后台数据库代理:读取后台数据
库的事务日志,并与solidDB代
理通信
27
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
solidDB Universal Cache 如何工作?
管理员确定关键性能的
数据,并配置Cache1
solidDB Universal Cache 从后台数据库加
载关键性能数据
2 应用可以同时连接到内存数
据库和后台数据库进行存取
和修改数据
3
solidDB Universal Cache与指定的后台数据
库之间双向复制数据
4
App
Universal CacheUniversal Cache
App App
28
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
Universal Cache 管理工具
Universal CacheUniversal Cache
29
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
solidDB Universal Cache – 复制模型
按条件Cache部分数据1:N 单表对应多份只读Cache1:N 单表对应多份可读写Cache
– 自定义冲突处理机制
30
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
solidDB Universal Cache – 双机部署
Default
Data server
Front-endActive
CDC
Back-end
CDC for solidDB
CDC management node
CDC Management
Console
JDBC driver
solidDB JDBC driver
solidDBPrimary
Front-endStandby
solidDBSecondary
HA
Data server
solidDB
Front-end
CDC
Back-end
CDC for solidDB
CDC management node
CDC Management
Console
JDBC driver
solidDB JDBC driver
NOTE THE
LOCATION
31
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
solidDB to solidDB 节点间复制
NN--ActiveActive复制复制
多节点扩展
表级复制
负载均衡
高可用
32
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
solidDB Cache在电子交易/订单系统中的应用
SolidDB:
– 查询有效的航班信息、酒店预订信息等等
– 查询价格、时间、座位等具体信息
– 预订、下达订单、更改、取消
DB2 or IDS :– 客户资料
– 订单信息、历史记录
– 报表、分析、商业智能
查询/在线预订订单/历史信息
/数据归档
Cache
34
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
IBM solidDB Universal Cache: 支持平台和后台数据库
App
Universal CacheUniversal Cache
App App 支持平台– AIX, HP-UX, Linux, Solaris, Windows
支持后台数据库– IDS V11.50.3 on AIX, HP-UX, Solaris, Linux,
Windows– DB2 LUW (V9.1, V9.5) on AIX, Windows,
Solaris, Linux, zLinux– DB2 z (V7, V8, V9) on z/OS – Oracle (9i, 10g, 11g) on AIX, HP-UX, Solaris,
Linux, zLinux, Windows– Sybase (V12.5.4, V15) on AIX, HP-UX,
Solaris, Linux, Windows– Microsoft SQL Server
35
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
客户案例:solidDB in PDSN
项目背景-- 中国某电信运营商 3G项目,全国20多个省公司在使用solidDB-- solidDB作为接入认证服务器的数据库
项目描述-- 采用标准的ODBC/JDBC接口开发
-- 整个开发周期很短
-- solidDB工程师提供现场开发支持辅导
-- 2008年10月份上线到现在,solidDB运行良好
solidDB的优势-- 基于标准的数据库语言和接口,开发、移植方便
-- 轻量、可嵌入
-- 极高的事物处理性能 (传统数据库的数倍乃至10倍)
-- 同等性能要求情况下,硬件成本降低
-- 同时提供磁盘/内存数据库,软件成本降低
-- 多年电信系统的经验,数据库稳定可靠 (1秒钟的切换时间适合电信应用)
-- 有竞争力的价格和合作方式
-- 非常好的技术支持和开发支持
36
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
路由:指定SIP应用服务的重定向目
标,如语音邮件系统,从某个用户的电话号码,通过SIP发送重定向目
标信息至终端设备(如移动电话)
用户信息存取:收到来自HLR的新用户信息后,solidDB为SIP应用服
务器提供用户信息快速存取服务
可便携号码:使得用户在不需要更换电话号码的情况下,在PSTN与IP网络之间切换服务变成可能
客户案例:IBM solidDB 支撑3千7百万的用户
3千7百万用户(每个城市)
20微秒的查询相应
24x7x365在线服务,上线后至今未出现异常和重启
SIP PROV MR
solidDB
UPS in City 1
HLR
MRS
KEY
PROV: 提供服务
MR: 媒体资源MRS: 媒体资源服务器UPS: 用户数据服务器
solidDBtells SIP module which MRS to connect
UPS 2 UPS n
Primary Server
Standby Server
城市 2 城市 n
SIPGateway
SIP PROV MR
UPS in City 1
HLR
MRS
语音相关服务
KEY
solidDB指示
SIP模块连接
哪个MRS
UPS 2 UPS n
Primary Server
Standby Server
SIPGateway
如语音邮件
37
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation
Q&A
38
IBM SWG – Information Management Software
IBM Confidential © 2008 IBM Corporation