Management Reporting und Planung bei Swisscom Grosse TM1 Implementation mit Fokus auf Effizienz und Flexibilität Patrick Goetschi, Jan Frey Steffen Wittenauer (IBM) 19.06.2018 C1 - public
Management Reporting und Planung bei Swisscom
Grosse TM1 Implementation mit Fokus auf Effizienz und Flexibilität
Patrick Goetschi, Jan Frey
Steffen Wittenauer (IBM)
19.06.2018
C1 - public
2
Agenda
• Einleitung
• Architektur und Methodik
• TM1 Ecosystem bei Swisscom
• Integration von heterogenen Benutzergruppen mit Factory-Ansatz
• Gruppenbasiertes Storytelling im Reporting
• Fazit
Übersicht
3
Einleitung Swisscom
5
Einleitung
• Wechsel von Oracle Hyperion hin zu IBM Planning Analytics (TM1)
• Lösung für Planung, Reporting und Konsolidierung
• "Grosse" Menge an strukturierten Daten inkl. Stammdatenhandling
• Komplexe Treibermodelle und effiziente Hilfsmechanismen
• Flexibilität und Benutzerfreundlichkeit für das Controlling
• Änderungsfreundliche Architektur und Tool-Chain
• Gute Wartbarkeit
• Zusammenspiel MOLAP / ROLAP
Worum geht es?
6
Einleitung
• Reporting
• Planung
• Konsolidierung
• Projekt-Controlling
• Tochtergesellschaften + Shared Accounting
• Technik
Teilprojekte
7
Architektur und Methodik
Arbeitsmethodik
Quelle: www.dasscrumteam.com
8
Architektur und Methodik
Zusammenspiel Reporting, Planung und Konsolidierung
9
Architektur und Methodik
Übersicht Architektur und Komponenten
10
Architektur und Methodik
Infrastruktursicht Zielbild
44 Cores 44 Cores 72 Cores 72 Cores1.5 TB RAM 1.5 TB RAM 3 TB RAM 3 TB RAM3.2 TB SSD 3.2 TB SSD 4.8 TB SSD 4.8 TB SSD6.4 TB HD 6.4 TB HD 7.2 TB HD 7.2 TB HD
Quelle: vmware.com
DEV/PREPROD
Übersicht• Grundsätzlich ein vServer pro Aufgabe
• TM1-Server Allgemein• TM1-Server Projektcontrolling• Web/App• Staging• CCR• …
• Drei TM1-Server mit n Instanzen• 1PRD*• 2PRE*• 3DEV*
• Ausfallsicherheit• Instanzen übertragbar• Redundante Webserver• Startseite in AppCloud
DB Proj
DB Allg
11
Architektur und Methodik
Infrastruktursicht vServer
PROD
ESXi Server 1 ESXi Server 3
(Exalytics)
DB AllgStaging
Web/AppWeb/App
CCR DB Proj
ESXi Server 2 ESXi Server 4
(Exalytics)
Staging
Web/AppWeb/App
CCR
12
Architektur und Methodik
TM1 – Technologie für Endbenutzer• Batch Prozesse mittels Turbo-Integrator• Realtime Prozesse über Rules Engine• Performante Datenbank für Frontend-Technologien• Dateneingabe (Konfiguration durch Business, Plandaten)• Shared vs. Derived Dimension
QlikView – Datenaufbereitung und Datenqualität• Bekannt als Visualisierungstool, kann aber viel mehr• Performante Datenaufbereitung• Zentralisierung der Logik• Flexible Skriptsprache mit ausreichender Systemnähe• Kontrollierte Ableitung der MOLAP Modelle
Übersicht TM1 + QlikView
Variante 1: Durchladen ab Quelle
Variante 2: Angereicherte Dimensionen mit Ableitung
Variante 3: TM1 als Quelle (z.B. Freeze)
Variante 4: Cognos Controller als Quelle und Ziel
13
Architektur und Methodik
Zusammenspiel von TM1 und QlikView
Quelle (QlikView) TM1
Quelle (QlikView) TM1 QlikView TM1
TM1 QlikView TM1
CCR FAP TM1 QlikView TM1
CCR SP Sql Stage QlikView TM1
14
Architektur und Methodik
Abgeleitete Dimensionen Cubes
Übersicht TM1
Prüfung von Hierarchien direkt in QlikView
Nutzen• Übersicht der abgeleiteten Dimensionen• Visualisierung "neben" Code• Zentrale und kontrollierte Ableitung• Abgeleitete Dimensionen dienen der Benutzerfreundlichkeit
15
Architektur und Methodik
Data Layer – Abgeleitete Dimensionen
16
TM1 Ecosystem bei Swisscom
Zahlen, Daten, Fakten
Finale Server (Exalytics): je 3TB RAM 144 vCores
Stand: Juni 2018 (Phase 1 – Reporting)
Etablierte Anwendungen: Subset-Tool (Deployment mehrmals pro Tag)
17
TM1 Ecosystem bei Swisscom
Transportmechanismen - Subsets und Views
Etablierte Anwendungen: Subset-Tool >> «Differenzliste» und «Flop-Liste»
18
TM1 Ecosystem bei Swisscom
Transportmechanismen - Subsets und Views
Etablierte Anwendungen: View-Tool (Deployment mehrmals pro Tag)
19
TM1 Ecosystem bei Swisscom
Transportmechanismen - Subsets und Views
20
TM1 Ecosystem bei Swisscom
Transportmechanismen – Attributwerte
Komplette Attribute die manuell gepflegt werden (Deployment mehrmals pro Tag)
Features• Delta Ermittlung• Transport-Flag• Automatische Anpassung und Korrektur der Instanz• Täglicher, automatisierter Transport
21
TM1 Ecosystem bei Swisscom
Transportmechanismen – Websheets
XLSX
2PRE
XLSX
2PREChange Analyse
BLOB (Blacklist, Whitelist)
ReplaceInstance
Copy to Prod
22
TM1 Ecosystem bei Swisscom
Turbo Integrator – Jobsteuerung & Monitoring
QlikView• Zentrales Scheduling inkl. UC4 Trigger• Logging und Monitoring• Synchronisation von Prozessen
MS SQL• Datenbank für QlikView und Turbo Integrator
Turbo Integrator• Primär Import / Export
Notification• Info Systemzustand• E-Mails• Daten für Startseite Steuerung TI Synchronisation QV
Logging & Monitoring Notification
MS SQL DB
Skalierbare Loads - Prinzip:
• Pro Cube existiert• ein generischer Lade-TI• ein Starter-TI
• Parameter des generischen TIs: bis zu fünf verschiedene Dimensionen bestimmen Lade-Kombination in einer SQL-Tabelle
• Ablauf eines Loads:
1. Trigger des Starter-TI >> dieser importiert die aktuelle SQL-Tabelle nach TM1 2. Der Starter TI prüft für seinen Cube die Einträge und startet pro Eintrag 1x
parametrisiert den generischen Lade-TI3. Jeder generische TI löscht für seinen Bereich die Daten und lädt anschliessend
aus seiner eigenen Quelle die Daten; abschliessend «Commit» und Statusänderung
4. Sobald alle generischen TIs beendet sind erfolgt der finale Status
>> so werden bis zu 40 parallele Loads pro Würfel gestartet
23
TM1 Ecosystem bei Swisscom
Turbo Integrator – Skalierbare Loads
24
TM1 Ecosystem bei Swisscom
Turbo Integrator – Skalierbare Loads
Skalierbare Loads – Beispiel:
25
TM1 Ecosystem bei Swisscom
Turbo Integrator – TI Bremse
• Für den grössten Cube (> 200GB) müssen mehrmals wöchentlich umfangreiche Berechnungen gestartet werden
• 3 Kennzahlen müssen pro Zeiteinheit (52 Wochen + 12 Monate + 3 Jahre) im laufenden Betrieb berechnet werden
• Ergebnis: ca. 40 Min. pro Einzel-TI >> ergäbe Rechenzeit von ~ 7.200 Minuten bzw. 120 Stunden
• Ziele:• Endbenutzer im Tagesgeschäft müssen stets im TM1 genug Power haben• Schnellstmögliche Durchlaufzeit aller TIs
• Lösung: «Handbremse» für TIs >> ~ 2 Std.
26
TM1 Ecosystem bei Swisscom
Frontend – Statistik & Monitoring
• Monitoring in Echtzeit für Ausführungen pro Report / User / Zeit (bis Min.)
• Nebenprodukt: pro Report werden Stammdateninformationen wie verwendete Cubes, Subsets, Ersteller uvm. ausgetauscht
• Gruppenbasierte Information (Technik, Factory, Business)• Abonnement auf Stufe Cube• Individuelle Konfiguration je nach Abo (Success, Failure, Warning)
27
TM1 Ecosystem bei Swisscom
Frontend – Notification
MS SQL
.NET Mailer
Monitoring
28
Factory Ansatz
Zweck der neuen Controlling Factory• Zentrale Bereitstellung von Reports durch das Controlling• Umsetzung von Planungstemplates• Effizienz durch Menge und Fachwissen• Ermöglicht Selfservice für die Benutzer• Dienstleister für die Segmente
Controlling Factory
29
Storytelling
Eckdaten Storytelling• Gruppenbasierte Umsetzung• Stories werden monatlich hinterlegt• Kommentierte Zahlen
Gruppenbasiertes Storytelling
30
Storytelling Gruppenbasiertes Storytelling
31
Storytelling Gruppenbasiertes Storytelling
32
Storytelling Gruppenbasiertes Storytelling
33
Fazit & Ausblick
Positive Aspekte• Bewährte Tool-Chain• Abbildung der Komplexität im Business Layer• Einfache MOLAP Implementation• Vermeidung von "Heavy Frontends"• Zentrale Berichtssteuerung• Abgeleitete Dimensionen• Vermeidung von redundanter Logik• Ausgelagerte Konfiguration• Benutzerfreundliche Dimensionen• Automatischer Transport von Frontends mit Korrekturmechanismus
Negative Aspekte• Zyklische Abhängigkeiten aufgrund der in TM1 ausgelagerten Konfiguration• Komplexität durch abgeleitete Dimensionen• Stammdatenprüfungen werden mit steigender Zahl an Faktentabellen/Cubes
und Dimensionen anspruchsvoll
Fazit
34
Fazit & Ausblick
• Ausbau Dataquality Management + Testautomatisierung
• Abbildung weitere Planungsmodelle
• Umsetzung Projekt-Controlling
Ausblick
35
Herzlichen Dank für Ihre Aufmerksamkeit
Patrick Goetschi Jan FreyGBS-CEC-SYS GBS-CEC-SYS
[email protected] [email protected]
Implementierungspartner IBM
Steffen WittenauerSenior Managing Consultant - IBM Analytics Services DACH
Kontaktinformation