I T C G BIG DATA BIG DATA Business Intelligence Volume? Variatie?
I T C GBIG DATA
BIG DATA
Business Intelligence
Volume? Variatie?
I T C GBIG WATER - Volume
++++
I T C GBIG WATER - Variatie
I T C GComplexiteit managen
• Probleem:
– Als de variatie toeneemt, zullen we toegenomen
afhankelijkheden/complexiteit moeten managen
• Oplossing:
– Modellering
• Data modellen / Schema waterleidingennet
– Standaardisering
• Data koppelvlakken / Specs leidingnetonderdelen
– Kennisborging
• Data definities / Vastlegging locatie-informatie leidingen
I T C GAfhankelijkheid
Afhankelijkheid
Beschikbaarheid
Continuïteit? Kwaliteit?& &
I T C GBeschikbaarheid
I T C GBron-geörienteerd
I T C GData Vault – bron-geörienteerd
• Karakteristieken
– Database voor tijdlijnhistorie van brondata
– Type tabellen:
• Hubs sleutels/business object
• Satellieten attributen + geldigheid/business object/bron
• Links relaties tussen hubs
– Wijzigen door toevoegen (“zero updates”)
• Datamodel flexibel
• Data snel
– Bouw-/onderhoudsinspanning evenredig met mate van
business integratie
• “Staging Vault” 100% te genereren uit metadata bronnen
I T C GVullen hub/sat (t = 01-01-2010)
Prd_id Productname Load date Record source
PRODUCTS_BRON_1
HUB_PRODUCTS
Id Name Price discount
4 Product B 865 5%
11 Product C 766 7%
PRODUCTS_BRON_2
1
2
3
Product A
Product B
Product C
01-01-2010
01-01-2010
01-01-2010
BRON_1
BRON_1
BRON_2
Prd_id Price Load date Load end
date
Record
source
SAT_PRODUCTS_BRON_1
Prd_id Price discount Load date Load end
date
Record
source
SAT_PRODUCTS_BRON_2
1
2
995
850
01-01-2010
01-01-2010
∞
∞
BRON_1
BRON_1
2
3
865
766
5%
7%
01-01-2010
01-01-2010
∞
∞
BRON_2
BRON_2
Id Name Price
5 Product A 995
9 Product B 850
I T C GVullen hub/sat (t = 02-01-2010)
Prd_id Productname Load date Record source
PRODUCTS_BRON_1
HUB_PRODUCTS
Id Name Price discount
4 Product B 865 5%
11 Product C 766 7%
PRODUCTS_BRON_2
1
2
3
Product A
Product B
Product C
01-01-2010
01-01-2010
01-01-2010
BRON_1
BRON_1
BRON_2
Prd_id Price Load date Load end
date
Record
source
SAT_PRODUCTS_BRON_1
Prd_id Price discount Load date Load end
date
Record
source
SAT_PRODUCTS_BRON_2
1
2
995
850
01-01-2010
01-01-2010
∞
∞
BRON_1
BRON_1
2
3
865
766
5%
7%
01-01-2010
01-01-2010
∞
∞
BRON_2
BRON_2
Id Name Price
5 Product A 995
9 Product B 850
990
02-01-2010
1 990 02-01-2010 ∞ BRON_1
02-01-2010X X
I T C GData Vault – bron-geörienteerd
• Toepasbaarheid
– Bron = waarheid
– Data kwaliteit “as is”
– Gebruikers interpreteren zelf
I T C GDoel-geörienteerd
I T C GInmon – doel-geörienteerd
• Karakteristieken
– Hoge mate van integratie
– Bedrijfs Gegevens Model (BGM)
• Structuur
• Semantiek
• Data kwaliteit
I T C GInmon versus Data Vault
Operational Databases Staging Area Enterprise Datawarehouse Datamarts
Bu
sin
ess R
ule
s
Bu
sin
ess R
ule
s
I T C GInmon – doel-geörienteerd
• Toepasbaarheid
– Creëren van „de waarheid‟ in BGM
– Zonodig data kwaliteit verbeteren
• Schonen
• Ontdubbelen
• Uniformeren
• Verrijken
• Verbeteren
• Koppelen
• …
– Gebruikers krijgen „voorgekookt‟ informatieproduct
I T C GProductiviteit managen
• Probleem:
– Bij toenemende complexiteit, neemt productiviteit af
• Oplossing:
– Modellering
– Standaardisering AUTOMATISERING
– Kennisborging
I T C GITCG / DATPROF
• ITCG
– Gespecialiseerd in oplossen van complex data
integratie vraagstukken
– Opdelen probleem naar generieke (ontwerp-)patronen
– „Vangen‟ van kennis (kwaliteitsregel, mappingregels)
• DATPROF
– Generatie van geautomatiseerde oplossing
I T C GDATPROF Integrate
Data Warehouse
Reporting
Data
Sources
...
...
...
Oracle
Exploitation
MonitorNScheduler8
generated application code
JAVA
Operating System
DATPROF Integrate Runtime
Modeler
ETL-Object Library
Meta Data Repository
DATPROF Integrate Developer
loa
d
his
tory
qu
ality
ma
pp
ing
qu
ality
ma
pp
ing
extra
ctio
n
metadata
me
tad
ata
Inte
rface
Dashboard & Portals
I T C GBeing in control…
Harald Kikkers (niet te verwarren met de man hierboven)
Namens ITCG op het BI Symposium Sogeti 2012