Meta & Referenzdaten Management im DWH …oder wie Fachbereich und IT effizient zusammenarbeiten Ulrich Scheuber & Michael Thölen Mai 2011.

Meta & Referenzdaten Management im DWH …oder wie Fachbereich und IT effizient zusammenarbeiten

Ulrich Scheuber & Michael Thölen

Mai 2011

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decision. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

Safe Harbor Statement


Stammdaten im DWH- und BI-Umfeld... wie arbeiten IT- und Fachbereich zusammen?

• Daten bilden die Basis einer jeden analytischen Auswertung

• Daten werden in Stammdaten (Meta & Referenzdaten) und in operative/analytische Daten unterteilt

• Stammdaten im DWH- und im BI-Umfeld sind Dimensionen, Kategorien, und Typisierungen

• Stammdaten müssen bei Bedarf schnell geändert und angepaßt werden

• Stammdaten basieren auf fachlichem Wissen und technischer Notwendigkeit

Stammdaten, das Kernstück einer jeden DWH- und BI-Lösung werden vom Fachbereich definiert und von der IT verwaltet.


Agenda

• MDM: Referenz & Metadaten Management - Einführung

• Herausforderungen im DWH Umfeld• Oracle‘s Lösung • Wann und Warum?• Referenzen, Meinungen, Ansichten

<Insert Picture Here>


Organisations-MDM

Datentypen in operationalen und analytischen Systemen

AnalytischeDaten

Beschreiben die Performance:

Trends, Segmentierungen, Input, Output, Ziel-/ Wirkungs-

controlling, Nachfragemuster nach öffentlichen Leistungen,

Vergleich/ Benchmarkt (z.B. PISA)....

Master DatenBeschreiben die

Stammdaten:• Objekte, auf denen die

Transaktionen ausgeführt werden

• Applikationsspezifische Informationen bleiben verteilt

• Dimensionen, über die die Analysen gefahren werden

TransaktionaleDaten

beschreiben den operationalen Status:

Quantitäten , Auftäge, Leist-ungsanträge, Bilanz, Bestände,

Serviceanfragen, Zahlungen,Investitionsmaßnahmen...

Verwaltungsdaten

OperationalesMDM

AnalytischesMDM


Oracle Enterprise Master Data Management Derzeit das vollständigste verfügbare MDM-Angebot am Markt

Data Governance

Oracle Fusion Middleware

Operational MDM AppsC

usto

mer

Supp

lier

OracleProduct Hub

Fina

ncia

l

OracleCustomer Hub

Prod

uct

Application Integration Architecture

OracleSite Hub

Site

OperationalSystems

EBS

Siebel

SAP

Custom Apps

External Apps

PeopleSoft

JDE

Budgeting

AnalyticalSystems

DW

BI &Datamarts

Planning

Financial Consolidation

Dashboards

Oracle / Hyperion Data Relationship

Management

Analytical MDM Apps

Ana

lytic

al

http://www.dell.com/content/default.aspx?c=us&cs=19&l=en&s=gen

http://www.brandsoftheworld.com/download/brand/163643.html

http://www.windriver.com/


Agenda


• Herausforderungen im DWH Umfeld• Oracle‘s Lösung • Wann und Warum? • Referenzen, Meinungen, Ansichten



Was verstehen wir unter Referenz und MetadatenBasis Referenz und Metadaten am Beispiel der Dimensionsverwaltung

• Dimensionen, die in Dimensionstabellen abgelegt sind und den effizienten Zugriff auf die Faktentabellen im Rahmen von vordefinierten und spontanen Auswertungen ermöglichen (z.B. Regionen)

• Attribute, um die zu ladende Quelldaten angereichert werden, um diese besser auswerten zu können (z.B. Typisierungen, Klassifizierungen und Kategorisierungen)

• Neue Datenhirarchien und netzwerkartige Verknüpfungen von Daten die für ein Quellsystems oder über Quellsystemgrenzen hinweg (z.B. Terrorgefährdung für Objekte innerhalb einer Region) verwaltet werden

• Bestehende Hirarchien und Dimensionen aus Quellsystemen werden konsolidiert. Dazu müssen sie verglichen, bereinigt und zusammengefaßt werden (z.B. Konsolidierung von Organisationsstrukturen aus unterschiedlichen Fachverfahren)


Die Problematik … wie werden Informationen verwaltet?

EssbaseEssbase

Essbase

US Planning

CorpOracle

APACCustom

LATAMPeoplesoft

EMEASAP

E-Mail

ReviewSpreadsheet

ETLEAI

• Accounts• Entity• Project• Product• Location• Channel

DW

Spreadsheet

Fach-anwender

IT Admin

OracleAdmin

PlanningAdmin

EssbaseAdmin

EPM Applications

• Unterschiedliche Bereiche und Personen sind involviert

• Prozesse sind manuell und über Applikationen verteilt

• Fehler und Inkonsistenzen in den Daten sind an der Tagesordnung

• Nachverfolgung und Rollback sind kaum möglich

• Aufwand und Kosten sind sehr hoch

• Das gemeinsame Verständnis der Daten ist unzureichend

ConsolEMEAPlanning


EssbaseEssbase

Essbase

USPlanning

CorpOracle

APACCustom

LATAMPeoplesoft

EMEASAP

ETLEAI

DW

Fach-anwender

EPM Applications

YTD Umsatz12,994,332

YTD Umsatz13,509,999YTD

Umsatz10,650,000

YTD Umsatz3,800,000

?

?

?

Consol


EMEAPlanning


• Unterschiedliche Systeme liefern unterschiedliche Ergebnisse bei gleichen Daten und Auswertungen

• Unsicherheit besteht bei allen Berichten

• Fehler und Inkonsistenzen haben vielfältige oft schwer nachvollziehbare Ursachen

• Die laufenden Kosten für die Fehleranalyse sind immens

• Revisionssichere Dokumentation, Einhaltung von Compliance Regeln und rechtsverbindliches Berichtswesen sind nahezu unmöglich

Die Herausforderungen … wie wirken sich Fehler in den Informationen aus?


Verbrechen - Region Ost

Leibzig Dresden Erfurt

Sachsen ThüringenETL

Erstellen und Ändern einer DWH Struktur...heißt Dimesionen bauen – am Beispiel Verbrechen pro Region

Faktentabelle – Delikt Anzahl Delikt | Schwere (1 - 5)

Auf einer Faktentabelleim Datawarehouse bauen unzählige Dimensionen auf.

Jede der Dimensions-Tabellen wird mittels ETL-Prozess geladen.

Dimensionen werden von der IT erstellt & gepflegt.

Verbrechen - Bundesland

München Rosenh. Nürnb.

Bayern

Oberb. Mittelf.ETL

Verbrechen – BL gr. 12 Mio

München Nürnb. Köln

Bayern NRWETL

Verbrechen – Großstadt

Kreuzberg

ETLMünchen

Berlin

HasenberglLaim


Erstellen und Ändern einer DWH Struktur...heißt flexibel Kategorien erstellen und Daten anreichern um sie in Auswertungen zu nutzen

Gewehr Pistole Messer Stilette Dolch

Schußwaffe Stichwaffe

Verbrechen - Waffe

Lizenz

K11 K12 K13 K14 K15

Frei

Stock HammerK21 K22

Schlagwaffe Frei

• Um die Daten besser und effizienter auswerten zu können werden innerhalb der Dimensionenunterschiedliche Kategorien vergeben

• Bei der Überführung der Daten ins DWH werden diese mit neuen Attributen angereichert

• Kategorien und neue Attribute werden auf allen Ebenen über die ETL Prozesse vergeben

• IT Anwender setzen die Kategorisierung technisch um

ETL

ETL

K1 K1 K2

K


A B C D

1 2

XQelle 1

A B E F

1 3

XQuelle 2

A B C D

1 2

XDWH

3

E F

ETL

Verknüpfung /Konsolidierung /

Erstellen und Ändern einer DWH Struktur...heißt Hirarchien konsolidieren und Daten verknüpfen – Gesamtbild über Quellsystemgrenzen

Daten werden über Systemgrenzen hinweg miteinander verknüpft

Bestehende Hirarchien aus Quellsystemen müssen konsolidiert werden

IT Anwender setzen die Konsolidierung & Verknüpfung technisch umBestehende Hirarchien können verschoben werden


EssbaseEssbase

Essbase

USPlanning

CorpOracle

APACCustom

LATAMPeoplesoft

EMEASAP

ETLEAI

• Accounts• Entity• Project• Product• Location• Channel

DW

EPM Applications

Hyperion DRM

Fach-anwender

Consol

EMEAPlanning

Die Lösung… Oracle Hyperion Data Relationship Management

• Disjunkte Strukturen werden in einer zentralen, leicht wartbaren Gesamtstruktur zusammengefaßt

• Änderungen werden in einem System für eine zentrale Struktur verwaltet

• Fach- und IT-Anwender bekommen unmittelbar Feedback über die Auswirkungen im Falle einer Änderung

• Geschäftsregeln und “Was wäre Wenn” Analysen sind einfach umzusetzen

• Relevante Änderungen werden pro System verteilt


EssbaseEssbase

Essbase

USPlanning

CorpOracle

APACCustom

LATAMPeoplesoft

EMEASAP

ETLEAI

DW

Fach-anwender

EPM Applications


YTD Umsatz13,000,000YTD

Umsatz10,000,000

YTD Umsatz3,000,000

Consol


Vertrauen!

EMEAPlanning


Auswirkungen auf die gesamte Organisation… wie DRM Auswertungen und Prozesse optimieren hilft!

• DRM stellt sicher, daß Hirarchien und Klassifizierungen über die gesamte Organisation hinweg konsistent sind

• Berichte und Analysergebnisse stimmen unabhänig von Ort und Quelle überein

• Aufwände für Verwaltung und Änderung der Stammdaten werden reduziert

• Änderungen an Daten können zwischen den Fachbereichen untereinander und mit der IT im Vorfeld abgestimmt werden


Agenda





Oracle Hyperion DRM

Trusted Master Data

Data Model AgnosticMaster Data Repository Form-driven configModular and reusable objects

BatchImport

Action Scripts

Web Services

Blender

ApplicationTemplates

Query & Compare

Hierarchy Management

Derived Properties

Node Types

Validations

Migration Utility

Workflow Dev Kit

Versioning

Granular Security

Transaction History

Attribute Management

Exports

Books

Web Services

Batch Client

Read-Only Access


Screenshoots zur Verwaltung von Referenz- & Metadaten

Die Navigationsleiste ermöglicht den zentralen Zugriff auf alle Funktionen.

•DRM ist in der Lage mehrere Versionen einer Dimension zu verwalten.

•Kopien alter Versionen sind jederzeit wiederherstellbar.

•Dimensionen werden in DRM als Hierarchien abgebildet

•Dimensionen können nach Themen aufgeteilte werden

Jede Version einer Dimension hat einen Status.

Dimensionen haben Datenfelder die die Dimension beschreiben wie z.B. Gültig Von - Bis



•Dimensionen können importiert werden

•Dimensionen werden durch den Fachanwender gepflegt.

Die Dimension können per Drag and Drop bearbeitet werden (z.B. Zusammenführen, Kopieren, Verschieben von Teilbereichen, etc.)

Ein Anwender kann nach Dimensionen suchen

Ein Anwender kann Dimensionen exportieren.



• In Dimension können beliebige Datenfelder angelegt werden

•Datenfelder können in Kategorien aufgeteilte werden.

Datenfelder haben Eigenschaften (z.B. vererbt bzw. nicht vererbt)

Die Werte einer Eigenschaft können vom Anwender direkt vergeben oder über Formeln automatisch berechnet werden.



Es ist möglich fachliche Metadaten und technische Metadaten zu pflegen. Dazu gehören z.B.:

• Dimensionen,• Hirarchien,• Organisationsstrukture

n,• Rollen,• usw.



Der Abgleich von Version z.B. Für Hirarchien wird in DRM unterstützt.

Durch „Drag and Drop“ führen Anwender manuelle Abgleiche durch.



DRM - MetadatenDRM - Security

DRM Metadaten werden benötige um die Anwendung zu gestalten.

Dies gibt Fach- und IT-Anwendern die Möglichkeit, das DRM-System auf Ihre individuellen Bedürfnisse anzupassen.



Import und Export werden über einen Wizard gesteuert und sind so für jeden Endanwender möglich.

Import & Export Formate sind frei definierbar.

Predictive Analytics

DRM – Teil von Oracle’s Plannungs- und BI-LösungComplete, Open, Integrated

Copyright © 2011 Oracle and/or its affiliates. All rights reserved.

OLTP & ODSSystems

Data WarehouseData Mart

PackagedApplications

(Oracle, SAP, Others)

ExcelXML/Office

BusinessProcess

OLAPSources

Exadata Unstructured & Semi-

Structured

BI Server

Common Enterprise Information Model

Essbase Dimension Management

ERP Analytics

Strategy Management

Financial Close and Reporting

Planning & Forecasting

Profitability Management

CRM Analytics

Industry Analytics

Interactive Dashboards

Reporting &Publishing

Ad-hoc Analysis

Detect& Alert

Office Integration Search EmbeddedData

Integration Mobile Scorecards Collaborate

Page 25


Agenda





• Im Rahmen der Restrukturierung eines DWHs bietet DRM die Möglichkeit Refernz- und Metadatenprobleme aktiv zu vermeiden

• Bei der Konsolidierung mehrerer DWHs bietet DRM eine durchgängige Unterstützung des und Migrationsprozesses bezüglich Referenz- und Metadaten

• Beim Ausbau eines bestehenden DWHs kann DRM ergänzed für die Verwaltung neuer Strukturen und Dimensionen verwendet werden

• Beim Aufbau neuer DWHs unterstützt DRM durch eine übergreifende Sicht und eine Koordinierte Verwaltung der Refernz- und Metadaten durch den Fachbereich

• Wenn die Kosten und die Dauer für die Erstellung neuer Dimensionen, die Anreicherung bestehender Quelldaten und die Konsolidierung bestehender Hirarchien zu hoch sind.

Wann setzt man DRM ein?

Oracle‘s Data Relationship Management lässt sich immer dann einsetzen wenn Veränderungen im DWH geplannt oder erforderlich sind.


• Die mit dem Aufbau und der Verwaltung eines DWHs verbundenen Kosten werden durch die zentrale Platform für die Verwaltung der Kerninformationen deutlich reduziert

• Inkonsistenzen in Analysen und Berichten werden durch die übergreifende Verwaltung der Strukturen weitgehend minimiert

• Änderungen und Anpassungen im DWH können zeitnah umgesetzt werden

• Was wäre wenn Analysen - z.b. Beim Einsatz neuer Dimensionen - lassen sich einfach umsetzen und erhöhen die Flexibilität

• Änderungs – und Genehmigungsprozesse, sowie eine durchgängige Rechtevergabe und eine Versionierung der Stammdaten (z.B. Hirarchien und Dimensionen) verringern das Risiko und verbessern die Nachvollziehbarkeit

• Die Meta- und Refernzdatenhoheit kann in den Fachbereich verlagert werden. Die Überführung bestehender und neuer Referenz- und Metadaten in das DWH erfolgt größtenteils automatisiert .

Warum lohnt es sich DRM einzusetzen?


Agenda





Deutsche Bank: Hierarchy Management

COMPANY OVERVIEW• Financial Services• 78,000 Employees

CHALLENGES/OPPORTUNITIES• Multiple projects

• IES (IT Projects)• Navigate (Alignment of

structures, global costs)• DART (MIS for rev)

• Need consistent reporting hierarchies

• Alignment and Mapping of SAP Cost Structures

–


JP Morgan Chase: Financial MDM

COMPANY OVERVIEW• One of the largest financial services

institutions in the world• $1.2 trillion in assets; 162,000 employees

CHALLENGES/OPPORTUNITIES• Corporate growth charter driven by

mergers and acquisitions, first at BankOne and then again at JPMorgan Chase

• Needed to manage SAP cost center & CoA structures following the integration Bank One with First Chicago/NBD, Zurich, and ultimately JP Morgan Chase, tripling maintenance demands

• Transactional and reporting systems needed a shared view of the reference data daily, weekly, monthly depending on demand

RESULTS• Saved $3 million on JPMC / Bank One merger

using DRM over a 12 week implementation; Merged Bank One and First Chicago financials in eight weeks

• Standardized corporate organizational views to support legal and management reporting

• Cost effective enrichment of SAP G/L accounts in DRM for downstream consumption and centralized control within enterprise risk data warehouse

• Implemented a simpler, standardized process to manage data quality and streamline hierarchy maintenance

SOLUTIONS• Positioned DRM as the platform to

facilitate data governance and agility in the face of mergers and acquisitions

• Enabled adherence to governance policies via a workflow request front-end

Statistics: 120, 000 cost centers; 160,000 accounts, 1500 products


COMPANY OVERVIEW• Leader in Electronic Design Automatic

software• US$835M Umsatzs• 4,200 employees , 70 offices worldwide

CHALLENGES/OPPORTUNITIES• Finance needed a reliable way to

accurately determine headcount globally

• HR needed to make informed allocation decisions across departments, geographies, and cost centers in near real time

• Error prone, broken processes with inaccurate formulas, numbers, version control issues, and a lot of back-and-forth

• Fragmented hierarchies across SAP R/3, Callidus, Siebel CRM, Saas, & Custom

RESULTS• Replaced 1,200 spreadsheets with a single,

Web-based solution, enabling real-time info access and responsiveness to inquiries

• Improved human resources (HR) allocation decision making

• Streamlined purchasing authorization in SAP SRM and improved accuracy of sales agent-to-order assignments to ensure proper commission disbursal

• Simplified maintenance of product hierarchies improved consistency of data through better version control across SAP & D/W

SOLUTIONS• DRM for reporting hierarchies, purchasing

authorization matrix since Feb 2004• Essbase for sales reporting, consolidation,

planning, forecasting, HR analytics

System of record for master data changes“Today, we use Hyperion Data Relationship Management as the central server to publish

master data across heterogeneous systems including multi-dimensional databases, SAP, Callidus and Oracle systems. Hyperion DRM has enabled us to achieve

consistency of our data and improve version control of various enterprise hierarchies.”– Jan- Willem Beldman, ERP Finance Manager, IT Enterprise Applications


Gartner‘s Analyse der Meinungen unserer Kunden• “The initial deployment was for our sales hierarchy and we were able to distribute

maintenance, while it enforces all rules of channel management. We have since extended it to many other hierarchies.”

Ein Elektronikunternehmen

• “All business units have been very happy with the consistent organizational hierarchies and consistent reporting.”

Ein Finanzdienstleister

• “DRM along with our business processes has enabled us to be very successful.”

Ein Energieunternehmen• • “DRM provides a foundation for an enterprise, business driven, single source of

truth for hierarchies and reference data with effective management capabilities including change management, control and audit, and data governance.”

Ein Speicherhersteller

Gartner Report - DRM


Fragen & Antworten

Meta & Referenzdaten Management im DWH …oder wie Fachbereich und IT effizient zusammenarbeiten Ulrich Scheuber & Michael Thölen Mai 2011.

Documents

oracle andor its affiliates

all rights reserved

referenz metadaten management

it is not

dwh umfeldoracles lsung

stammdaten basieren

stammdaten meta referenzdaten

typisierungen stammdaten