<Insert Picture Here> Oracle BI 应用技术架构详解 预制分析模型概述及示例
<Insert Picture Here>
Oracle BI 应用技术架构详解
预制分析模型概述及示例
© 2007 Oracle Corporation – Proprietary and Confidential
Oracle BI Applications 多数据源统一分析平台集成
在Oracle BI EE
Suite上建立的 Oracle BI Apps
• Prepackaged Hierarchies, Drill Paths, Security
• Prebuilt dashboards, reports, guided navigations
• Common Enterprise Information Model
• Multidimensional Calculation and
Integration Engine
• Intelligent Caching Services
• Intelligent Request Generation and
Optimized Data Access Services
• Based on industry and analytic best practices
销售 服务和
联系中心 市场营销
订单管理
和执行 供应链 财务
人力
资源
Oracle BI 应用产品
即席 分析
预先 检测 和警报
MS Office 插件
报告并 发布
交互式 信息板
离线 分析
Web 服务
打包的 ETL 映射
通用 适配器
IVR、ACD、CTI Hyperion MS Excel 其它数据源
数据仓库模式
© 2007 Oracle Corporation – Proprietary and Confidential
快速原型开发法加快BI的开发和实施的效果
无预置内容
BI 工具
(定制元数据)
工具和构建方法
预置 BI 内容
具有预置元数据的
Oracle BI 平台
预置 BI 应用程序方法
Siebel
Oracle
其他
源
预置
ETL
Siebel
Oracle
其他
源
定制
ETL
定制构建的 DW
预置 DW
© 2007 Oracle Corporation – Proprietary and Confidential
Oracle商务分析应用的优势
• 提升竞争优势的数据分析模型
商务分析模型-预置分析模版,应用世界级管理经验,提升企业管理绩效
预构建分析应用 〉〉〉 自建分析应用 〉〉〉
© 2007 Oracle Corporation – Proprietary and Confidential
基于角色的信息板
分析工作流
指导性导航
安全性/可见性
警报和预先发送
逻辑层到物理抽象层
计算和量度定义
可见性和个性化
动态 SQL 生成
高度并行
多层、可自定义
部署模块化
抽象的数据模型
一致的维度
异种数据库支持
特定于数据库的索引
Oracle BI 应用产品体系结构
管理
元数据
Oracle BI 表示服务
按角色分类的信息板
报表、分析/分析工作流
量度/KPI
逻辑模型/主题领域
物理映射
Oracle BI
Server
直接访问源数据
数据仓库/ 数据模型
ETL
加载流程
临时区域
提取流程
DA
C
联合数据源
Siebel Oracle SAP R/3 PSFT EDW
其它
© 2007 Oracle Corporation – Proprietary and Confidential
ETL 概述
管理
元数据
Oracle BI 表示服务
按角色分类的信息板
报表、分析/分析工作流
量度/KPI
逻辑模型/主题领域
物理映射
Oracle BI
Server
直接访问源数据
数据仓库/ 数据模型
DA
C
联合数据源
Siebel Oracle SAP R/3 PSFT EDW
其它
• 可以通过三种方法来访问/加载源数据
•批 ETL
•低延迟 ETL
•从 Oracle BI Server 直接访问源数据
• ETL 将体系结构分为提取、通用临时存储和加载层
•提供独立性、模块化和可扩展性
•能够快速支持数据源系统版本更改
•能够通过附加适配器扩展
•渐变维度支持
• 针对性能而构建
•所有映射都通过增量提取构建
•高度优化的并发加载
•批量加载器支持所有数据库
• 数据仓库应用程序控制台 (DAC) • 应用程序管理、执行和监视
ETL
加载流程
临时区域
提取流程
DA
C
© 2007 Oracle Corporation – Proprietary and Confidential
管理
元数据
Oracle BI 表示服务
按角色分类的信息板
报表、分析/分析工作流
量度/KPI
逻辑模型/主题领域
物理映射
Oracle BI
Server
直接访问源数据
数据仓库/ 数据模型
DA
C
联合数据源
Siebel Oracle SAP R/3 PSFT EDW
其它
ETL
加载流程
临时区域
提取流程
DA
C
ETL 概述
加载
提
取
SAP PeopleSoft
独立于源的层
临时表
提取
其它 Siebel
OLTP Oracle
Power
Connect
Power
Connect SQ
L
SQ
L
SQ
L
SQ
L
应用
层
ABA
P
应用
层
Oracle 数据
仓库
© 2007 Oracle Corporation – Proprietary and Confidential
数据提取和加载过程
提取模式 直接数据库访问
Oracle EBS
Siebel CRM
PowerConnect 技术
SAP R/3
PeopleSoft Enterprise
通用业务适配器
对于没有预先包装业务适配器的系统
通过平面文件接口转换和加载数据
供应平面文件(S)或表定义的标准格式
相对于从零开始建设全面ETL解
决方案,明显降低实施和维护的成本
加载
提
取
SAP PeopleSoft
独立于源的层
临时表
提取
其它 Siebel
OLTP Oracle
Power
Connect
Power
Connect SQ
L
SQ
L
SQ
L
SQ
L
应用
层
ABA
P
应用
层
Oracle 数据
仓库
© 2007 Oracle Corporation – Proprietary and Confidential
加载
提
取
SAP PeopleSoft
独立于源的层
临时表
提取
其它 Siebel
OLTP Oracle
Power
Connect
Power
Connect SQ
L
SQ
L
SQ
L
SQ
L
应用
层
ABA
P
应用
层
Oracle 数据
仓库
数据提取和加载过程
数据提取
特定业务系统和通用业务适配器
从复杂的商业实体系统中取得业务实体信息
转换数据源相关的数据格式到通用临时表格式
轻量级,优化抽取性能,并行执行设计
可拓展
© 2007 Oracle Corporation – Proprietary and Confidential
加载
提
取
SAP PeopleSoft
独立于源的层
临时表
提取
其它 Siebel
OLTP Oracle
Power
Connect
Power
Connect SQ
L
SQ
L
SQ
L
SQ
L
应用
层
ABA
P
应用
层
Oracle 数据
仓库
数据提取和加载过程
独立于源的层
封装仓库加载逻辑
处理:
缓慢变化维度
信息查找比对/生成代理主键
插入/更新策略
货币转换
数据一致性
在所有数据库平台都使用批量加载
© 2007 Oracle Corporation – Proprietary and Confidential
数据源无关加载(SIL) 数据源相关抽取(SDE)
统一数据 临时区
So
urc
e In
de
pe
nd
en
t
Ma
pp
let
Bu
sin
es
s C
om
po
ne
nt
Ma
pp
let
So
urc
e A
da
pte
r M
ap
ple
t
业务分析 数据仓库
PLP
mplt
mplt
Siebel
Oracle
SAP R/3
PSFT
EDW
Other
分散的数据源
加载完成后流程 – 事实表上的数据聚合和预计算
每条数据都附有数据源ID
在ETL工具中预置开发好的数据抽取过程
JDE
© 2007 Oracle Corporation – Proprietary and Confidential
Oracle EBS
Source Table
Source Qualifier Expression
Transformation
Mapplet output to
Extract Mapping
举例:预置抽取Oracle应用 – 产品维度
© 2007 Oracle Corporation – Proprietary and Confidential
Business Component
Mapplet for Oracle EBS
Product Master
Source Adapter
Mapplet
Temporary
Staging Table
举例:预置抽取Oracle应用 – 产品维度
© 2007 Oracle Corporation – Proprietary and Confidential
Temporary Staging
Tables (Product Master)
Source
Qualifier
Expression
Transformation
Universal
Staging Table
举例:预置抽取Oracle应用 – 产品维度
© 2007 Oracle Corporation – Proprietary and Confidential
Universal Staging
Table
Source
Qualifier W_PRODUCT_D
Data Warehouse Table
Source Independent
Load (SIL) Mapplet
举例:预置加载Oracle应用 – 产品维度
© 2007 Oracle Corporation – Proprietary and Confidential
增量提取和加载
• 各种战略用于优化增量提取并加载数据
• 总体设计 – 尽可能增量提取,否则增量加载 • Siebel
• 使用一个日期窗口和ROWID的组合比较
• Oracle
• 使用日期窗口和提取最后更新日期
• 同时使用日期/记录印象,以控制目标的更新
• PeopleSoft
• 尽可能使用日期窗口和提取最后的更新日期
• SAP
• 使用日期窗口和提取最后更新日期
• 同时使用日期/记录印象,以控制目标的更新
• 某些维度是全量提取,但在和目标控制更新
© 2007 Oracle Corporation – Proprietary and Confidential
帮助BIA快速部署的工具 BI Applications 11.1.1.7.1
功能管理器 Functional Setup Manager Administrative UI to track & manage
implementation projects and required
functional setup steps
配置管理器 Configuration Manager Administrative UI to manage system
configuration for your BI Applications
© 2007 Oracle Corporation – Proprietary and Confidential
Enhanced ETL Architecture Using Golden Gate
Optional Feature for 11.1.1.7.1
Challenge: Customers with geographically
distributed source systems are increasingly
being challenged by rapidly expanding data
sizes and shorter ETL windows
Solution: Optimize ETL load and reduce
impact on OLTP system leveraging the
strengths of Golden Gate
Completely prepackaged solution
Creation of Source Dependant Data Store
(SDS)
© 2007 Oracle Corporation – Proprietary and Confidential
物理数据模型概述
• 具有一致维度的企业级模块化数据仓库数据模型
• 销售、服务、市场营销、配送、财务、劳动力、运营和采购
• 集成来自多个数据源的数据
• 编码标准化
• 实时准备
• 以最细粒度的方式存储事务数据
• 跟踪历史更改
• 支持多币种、多语言
• 已针对 Oracle、SQL Server、IBM
UDB/390 和 Teradata 实现并优化
管理
元数据
Oracle BI 表示服务
按角色分类的信息板
报表、分析/分析工作流
量度/KPI
逻辑模型/主题领域
物理映射
Oracle BI
Server
直接访问源数据
ETL
加载流程
临时区域
提取流程
DA
C
联合数据源
Siebel Oracle SAP R/3 PSFT EDW
其它
数据仓库/ 数据模型
© 2007 Oracle Corporation – Proprietary and Confidential
特性:
一致的维度
以最细粒度的方式存储事务数据
跟踪所有历史更改
预建的、可扩展的
为速度而构建
集成的企业分析数据模型
优点:
企业级业务分析(跨整个价值链)
访问汇总量度,或下钻到最低详细级别
准确的历史表示
服务
客户
销售
市场
营销
配送
财务
HR
/ 劳
动力
运营
采购
客户
客户
供应商
供应商
供应商
© 2007 Oracle Corporation – Proprietary and Confidential
选定的业务分析仓库的主要实体
一致的维度
客户
产品
供应商
内部组织
客户地点
客户联系人
GL 帐户
员工
销售代表
服务代表
合作伙伴
宣传活动
提供的内容
成本中心
利润中心
销售 商机
报价
渠道
订单管理 销售订单行
销售计划行
登记
提货行
帐单
积压
市场营销 宣传活动
响应
营销成本
供应链
采购订单行
采购申请行
采购订单收据
库存余量
库存处理
财务 应收款
应付款
总帐
COGS
呼叫中心 ACD 事件
代表活动
联系人-代表快照
目标和基准
IVR 导航历史
服务 服务请求
活动
协议
劳动力 报酬
员工档案
员工事件
制药 处方
联合的市场数据
财务 财务资产
保险索赔
公共部门 利益
案例
事件
线索
模块化 DW 数据仓库数据模型包括:
~350 个事实表
~550 个维表
~5,200 个预建量度
(2,500+ 个是派生量度)
~15,000 个数据元素
© 2007 Oracle Corporation – Proprietary and Confidential
销售订单行
销售订单详细信息
EAI ETL
客户地点 采购方/收货方/收款方
日期
付款条件
销售渠道
产品 制造/销售/供应商
员工
客户
地点 工厂/制造
发货/存放
销售组织
示例量度 取消的订单行数量 客户数量 新客户数量 订单行数量 订单数量 产品数量 退回的订单行数量 订单折扣百分比 每个订单的产品平均数量 平均订单大小 取消的金额/数量 订单到登记成交率 未结的登记金额/数量 订单合计金额/数量 合计退回金额/数量
特性 包含 27 个逻辑维和 33 个现成量度 提供了详细分析销售订单行的功能 在事务级别和行级别存储数据
示例:销售订单行事实表
© 2007 Oracle Corporation – Proprietary and Confidential
示例:销售订单行事实表 客户相关信息 地点 日期/时间戳
客户 存放地点 验证日期 采购客户 发货地点 时间要求 收货客户 工厂地点 日期要求 付款客户 条件/方法/类型 采购订单时间
客户帐户属性 付款方法 采购订单日期
客户联系人 付款条件 承诺的时间 收单客户 订单状态 承诺的日期 产品 交易类型 订购时间 产品 货运条款 订购日期 销售产品 其它 订单确认日期
制造产品 利润中心 盘点日期 供应商产品 成本中心 输入日期 员工 渠道类型 客户要求的发货时间
服务代表 渠道点 客户要求的发货日期
销售代表 地区 创建时间 员工 供应商 确认日期 组织 系统相关信息 成交日期 运营单位 ETL 流程 Id 取消时间 库存组织 更改者 取消日期
销售办公地点 创建者 登记时间 销售团队 系统 登记日期 销售组织
© 2007 Oracle Corporation – Proprietary and Confidential
产品维度
时间维度 供应链和订单分析
问题:有多少我们的重要客户所购买的产品是来自于
我们较差的供应商 ?
销售订单事实
Dim Table Dim Table 维度表
支持企业级跨组织的分析 预置统一共用维度
采购和费用分析
采购订单事实
Dim Table Dim Table 维度表
© 2007 Oracle Corporation – Proprietary and Confidential
预制模型客户化
© 2007 Oracle Corporation – Proprietary and Confidential
事实表的类型 • 所有的基础事实表都是基于单一的商业功能,如:销售订单行,销售周期线,等
• 事实表的类型 • 事务内容事实表
• 数据源的交易数据
• 保持每个交易记录的最小颗粒度
• 例如:员工活动实况,订单情况
• 快照内容事实表
• 一段时间内余额的快照
• 例如:员工每日快照,库存及账户余额,应收和应付帐龄快照,销售机
• 循环周期事实表
• 来自多个事实表,通常存储过程周期时间
• 例如:销售订单周期线,采购周期线
• 状态转换事实表
• 需要统计业务状态转换的计数指标
• 客户状态转换(#新建,#无效客户等)
• 聚合事实表
• 性能增强的关键指标
• 例如:薪金聚合(每月,可以配置成其他聚合周期)
© 2007 Oracle Corporation – Proprietary and Confidential
业务流程一致性
• 原有的和数据源有关的交易类型会追加到标准化的仓库代码中
• 标准的仓库代码是所支持数据源的超集
• 原有的和数据源有关的交易类型会被保留用于和具体数据源有关的分析 • 例如:民族代码,人力资源事件类型,信用备忘录,借记备忘录类型
© 2007 Oracle Corporation – Proprietary and Confidential
业务流程一致性 举例:应收账款过程
标准仓库代码 Oracle PSFT SAP
Invoice Invoice and Payment
Schedules
Invoice items AR documents with DR
document type
CR Memo/DR Memo
CR Memo and DR Memo CR Memo and DR Memo
items
AR documents with DA
document type
Payments Cash Receipts etc. Payments/ Deposits AR documents with DA
document type and ‘A’ as
special indicator
Payment Applications Cash/CR Memo
applications/Adjustments
Payment Item Activities AR documents with DZ
document type
Other All other types of
transactions
BI/AR: All other types of
items
All other types of AR
documents
© 2007 Oracle Corporation – Proprietary and Confidential
业务流程一致性 举例:应收账款过程
• 交易类型所有的源代码值会存储在仓库中和并附加在标准化代码
• 所有全局层次指标使用相同的标准化仓库代码
• 交易类型源代码值仍然存储,让每个交易系统都能追溯到原系统
TYPE
CODE TYPE_DESC WAREHOUSE CODE
O Credit memo Credit Memo
4 Credit memo list Credit Memo
S Credit memo cancellation Credit Memo Cancellation
P Debit memo Debit Memo
6 Intercompany credit memo Intercompany Credit Memo
5 Intercompany invoice Intercompany Invoice
N Invoice cancellation Invoice Cancellation
U Pro forma invoice Pro forma Invoice
3 Invoice list Standard Invoice
M Invoice Standard Invoice
TYPE CODE TYPE_DESC WAREHOUSE CODE
Credit Memo Credit Memo Credit Memo
On-Account Credit On-Account Credit Credit Memo
Debit Memo Debit Memo Debit Memo
Debit note Debit note Debit Memo
Invoice Invoice Standard Invoice
Contra Contra Standard Invoice
© 2007 Oracle Corporation – Proprietary and Confidential
业务流程一致性 应收帐款流程
• 可以通过捕获以下信息来满足关键分析要求 • 发票
• 进度安排
• 调整(贷款单/借款单/其它)
• 付款
• 支付应用程序
• 将本地源代码特定的事务类型转换为标准化仓库代码
• 标准化仓库代码是所有受支持源代码的超集
• 保留本地源代码特定的事务类型,以进行源代码特定的分析
• 支持的分析 • 帐龄时段
• 余额
• 效率
• 数量
• 风险(基于信用限额的未付余额)
© 2007 Oracle Corporation – Proprietary and Confidential
增强多种货币支持
• 支持多种货币
• 3个全球货币,1个本地和交易(企业)货币,提供汇率
• 财务本地数额同样存储
• 在ETL转换机制中,自动进行货币转换
© 2007 Oracle Corporation – Proprietary and Confidential
数据集成 – 多数据源加载
• 隔离和能寻源的数据模型
• 数据源数据键,包含:
INTEGRATION_ID
+
DATASOURCE_NUM_ID
Part no. Plant id
+
‘SAPJapan’ ‘MT27907b’ ‘NW3’
+
SAP ‘MATNR ~ MANDT’
Oracle EBS ‘item_id ~ organization_id
Example: Key_id for Products dimension
© 2007 Oracle Corporation – Proprietary and Confidential
业务流程外包支持 Oracle BI Apps 支持租客概念
• 独特的企业多源数据模型
• 通过DATASOURCE_NUM_ID隔离和维持数据沿袭从不同的数据来源装载数据
• 附加TENANT_ID键允许更灵活的数据模型,以支持多源系统出租
• 实现了多种部署,分析数据分离/存储在同一个数据仓库战略
• 实现了多种部署,分析数据分离/存储同一个数据仓库的战略
End Customer Data Sources
BPO Customer 1 PSFT HR 8.8 North America instance
BPO Customer 1 PSFT HR 8.8 European instance
BPO Customer 2 Oracle EBS 11i10 HR instance
© 2007 Oracle Corporation – Proprietary and Confidential
服务器信息库概述
管理
元数据
Oracle BI 表示服务
按角色分类的信息板
报表、分析/分析工作流
直接访问源数据
数据仓库/ 数据模型
ETL
加载流程
临时区域
提取流程
DA
C
联合数据源
Siebel Oracle SAP R/3 PSFT EDW
其它
• 多层抽象
• 物理层、逻辑层和表示层相互分离
• 逻辑建模构建于复杂的物理数据结构基础之上
• 逻辑模型独立于物理数据源,即,可以将同一个逻辑模型快速地重新映射到其它数据源
• 量度/KPI
• 多通道复杂计算量度(跨多个事实表)
• 一个逻辑事实可跨越多个表源,包括聚合表和实时分区
• 基于级别的量度
• 聚合导航
• 联合查询
• 安全性和可见性
• 预建层次结构下钻和交叉维下钻
量度/KPI
逻辑模型/主题领域
物理映射
Oracle BI
Server
© 2007 Oracle Corporation – Proprietary and Confidential
度量和计算
• 应用提供了一个逻辑表达式生成一些复杂的指标
• 占比(例如:某产品占所有产品销售的比例)
• 比较(例如:这个部门的绩效和所有部分绩效比)
• 跨主题指标(跨财务和人力,例如每员工销售收入)
• 差值(例如:预算和实际)
时间序列计算
MTD/YTD/滚动余额/MAVG (例如:当年截至到今天销售额变化%)
同期指标 (例如:去年同期销售额)
任何时间点的快照情况(例如,#未完成的服务请求)
所有这些都是通过BI逻辑模型完成
无需增加数据模型/复杂的ETL过程
© 2007 Oracle Corporation – Proprietary and Confidential
本地化 / 全球化
• 动态语言转换(翻译成15种语言)
• 中文(简体),中文(繁体),捷克语,丹麦语,荷兰语,芬兰语,法语,德语,意大利语,日语,韩语,葡萄牙语(欧洲),葡萄牙语(巴西),西班牙语,瑞典语
• Code Page/ Unicode支持
• 动态时区翻译 • 所有时间戳都在仓库中存储为UTC
• 自定义标记和命名支持 • 列名可以动态命名
© 2007 Oracle Corporation – Proprietary and Confidential
© 2007 Oracle Corporation – Proprietary and Confidential
© 2007 Oracle Corporation – Proprietary and Confidential
多日历支持
• 预置公历和财政年度日历
• 可以配置支持多个财政年度
• 配置支持基于用户配置文件初始化块读取多种财务年度
• 通过初次化块读取用户配置
• 动态使用适当的日历表
• CRM OnDemand中实现支持12个财政日历
© 2007 Oracle Corporation – Proprietary and Confidential
Web 目录概述
• 基于角色的信息板
• 包含 100 多个角色
• 导航
• 大多数报表至少嵌入了一个导航级别
• 可从多个交互式元素(如图表区段)下钻到细节
• 指导性导航
• 条件导航链接
• 分析流程
• 活动链接
• 从记录直接导航到事务处理,同时保持上下文
• 警报
• 计划好的条件 iBot
• 突出显示
• 提供量度上下文的条件突出显示(好还是不好?)
管理
元数据
量度/KPI
逻辑模型/主题领域
物理映射
Oracle BI
Server
直接访问源数据
数据仓库/ 数据模型
ETL
加载流程
临时区域
提取流程
DA
C
联合数据源
Siebel Oracle SAP R/3 PSFT EDW
其它
Oracle BI 表示服务
按角色分类的信息板
报表、分析/分析工作流
© 2007 Oracle Corporation – Proprietary and Confidential 41 Copyright © 2008, Oracle and/or its affiliates. All rights reserved. 41
通过引导和有条件的帮助导航 – 提供用户探索的路径
• 使用户可以快速浏览的标准路径的分析发现他们的具体功能和作用
• 提高可用性和降低学习曲线的新用户
• 似乎只有当条件得到满足,并提醒用户潜在的一般条件,需要注意
• 引导用户找到一个合乎逻辑的步骤的分析发现
指导导航
条件导航
规范业务流程
© 2007 Oracle Corporation – Proprietary and Confidential
Web
Browser
可以和Oracle系统无缝集成
Oracle EBS Oracle BI
user
User Security
validate session via
the ICX cookie
establish connection with
Oracle EBS
navigate to
3
log in once
store ICX
session cookie
in browser
1
2
4
5
drill back to Oracle EBS
via Action Links
6
© 2007 Oracle Corporation – Proprietary and Confidential
Web Catalog Upgrade
使用UI工具来分析和合并报告/仪表板
和新的BI Presentation服务兼容
Analytics Repository Upgrade
自动的合并工具
保留客户的客户化修改,并会增加采用Oracle新版本的增强
DAC
提供工具发现和应用变化差异
ETL & Warehouse Upgrade
客户化内容分
提供工具,以确定会发生变化的内容
每个版本升级都会提供数据模型和数据的升级
应用升级方法
管理
元数据
Oracle BI 表示服务
按角色分类的信息板
报表、分析/分析工作流
量度/KPI
逻辑模型/主题领域
物理映射
Oracle BI
Server
直接访问源数据
数据仓库/ 数据模型
ETL
加载流程
临时区域
提取流程
DA
C
联合数据源
Siebel Oracle SAP R/3 PSFT EDW
其它
© 2007 Oracle Corporation – Proprietary and Confidential