Page 1
© 2019 Software AG. All rights reserved.
07. März 2019, Universität Rostock
BTW 2019
Yvonne Hegenbarth
Solution Engineer
[email protected]
Konzept und Implementierung
eines echtzeitfähigen Model
Management Systems Am Beispiel zur Überwachung von
Lastprognosen im Intraday Stromhandel
Gerald H. Ristow
Senior Research Manager
[email protected]
Page 2
2 |
Agenda
© 2019 Software AG. All rights reserved.
Use Case „Kurzfristiger Spotmarkt“ 1.
Angewandte Verfahren 2.
Echtzeitfähiges Model Management System 3.
Ergebnis 4.
Ausblick 5.
Page 3
3 |
Energiewirtschaft Deutschland
Use Case
„Kurzfristiger Spotmarkt“
© 2019 Software AG. All rights reserved.
Page 4
4 |
Kurzfrister Spotmarkt
© 2019 Software AG. All rights reserved.
Use Case
Quelle: smard.de
• Stabiles Stromnetz in Deutschland &
Zuwachs von erneuerbaren Energie
• Handel im Strommarkt auf Basis von Last-
und Erzeugungsprognosen
• Kurzfristiger Spotmarkt:
• Day-Ahead: Ein Tag vor Auslieferung
• Intraday: Bis zu fünf Minuten vor Auslieferung
• Analyse des Stromabnahmeverhalten der Kunden
Page 5
5 |
Stromverbrauchsdaten
© 2019 Software AG. All rights reserved.
• 3 Verbraucher / Datensätze im Zeitraum ca. 2 Jahre
• Partitionierung
• Historisch (Analyse): 365 Tage
• Simulation (Auswertung): 245 Folgetage
• Aufzeichnung im 15 Minuten Intervall à 96 Messpunkte pro Tag
• Beispiel: Verbraucher – Modell „Montag“, „Feiertag“ oder „Anomalie“
0 Uhr 24 Uhr
Mo.
Page 6
6 |
Zielsetzung
Echtzeitfähiges Model Management System
© 2019 Software AG. All rights reserved.
Mensch als Akteur und
Überwacher entlasten
Erkennung einer
Modellabweichung
(Concept Drift)
Anpassung des Modells
an den aktuellen
Zeitreihenverlauf
Page 7
7 | © 2019 Software AG. All rights reserved.
Angewandte Verfahren
Vorhersagende Modelle berechnen, warten
und Änderungen erkennen
Page 8
8 |
Berechnung und Wartung von Modellen
© 2019 Software AG. All rights reserved.
[Dannecker2015]
+
Threshold-
based
Page 9
9 |
Änderungen im Datenstrom erkennen
© 2019 Software AG. All rights reserved.
[Tran2013]
• Fensterbasierte Änderungserkennung
• Gleitendes Fenster (Sliding Window)
• Vergleiche zwei Fenster mit Distanzfunktion
• Distanz größer als Schwellwert?
Änderungserkennung
• Clusterbasierte Änderungserkennung
• Zuordnung von neuen Tupeln einem Cluster
• Tupel nicht im Radius eines Clusters?
Änderungserkennung
Page 10
10 |
Architektur und Prozessablauf
Echtzeitfähiges Model
Management System
© 2019 Software AG. All rights reserved.
Page 11
11 |
Architektur
© 2019 Software AG. All rights reserved.
Get Write
Run R-Script
(ARIMA calculation)
Deploy Apama Queries
(Clustering and classification model)
Extract Source Code from Analytics
Model Observation
& Governance
Simple-Events
(Time Series)
Complex-Events
Get
Serve
Call
R-Script
(Re-)train
Model
Return
forecast
Data Science
Process
Offline-Analyse (Data Mining)
Online-Analyse (Streaming Analytics)
DBMS
Streaming Engine
Page 12
12 |
Konzept – Prozessablauf
© 2019 Software AG. All rights reserved.
Clustering
Page 13
13 |
Clusteranalyse
© 2019 Software AG. All rights reserved.
Historische Daten
• Ziel: Formähnliche Zeitreihen in historischen Daten gruppieren,
beschriften und abstrahieren Referenzmodell
• Vorgehen: Zeitreihe segmentieren, dann Clustern
• Beispiel:
Abb. 1: Eine Zeitreihe, Zeitraum 25 Tage Abb. 2: 25 Zeitreihen, Zeitraum 1 Tag
Page 14
14 |
Clusteranalyse
© 2019 Software AG. All rights reserved.
Historische Daten
• Ziel: Formähnliche Zeitreihen in historischen Daten gruppieren,
beschriften und abstrahieren Referenzmodell
• Vorgehen: Zeitreihe segmentieren, dann Clustern
• Beispiel:
Abb. 1: Eine Zeitreihe, Zeitraum 25 Tage Abb. 3: 365 Zeitreihen, Zeitraum 1 Tag
Page 15
15 |
Clusteranalyse
© 2019 Software AG. All rights reserved.
Historische Daten
• Ziel: Formähnliche Zeitreihen in historischen Daten gruppieren,
beschriften und abstrahieren Referenzmodell
• Vorgehen: Zeitreihe segmentieren, dann Clustern
• Beispiel:
Abb. 1: Eine Zeitreihe, Zeitraum 25 Tage Abb. 4: Referenzmodell, basierend auf 365 Zeitreihen
Page 16
16 |
Konzept – Prozessablauf
© 2019 Software AG. All rights reserved.
Clustering
Klassifikation
Page 17
17 |
Klassifikationsanalyse
© 2019 Software AG. All rights reserved.
Historische Daten
Monat, Quartal, Jahreszeit, Wochentag, Arbeitstag und Feiertag
• Ziel: Referenzzeitreihe (Cluster-ID) für den Folgetag „beschreibend“ vorhersagen
• Vorgehen: Merkmalsgenerierung und –auswahl
• Ergebnis Merkmalsauswahl
• Verbraucher I: Wochentag
• Verbraucher II: Quartal und Arbeitstag
• Verbraucher III: Wochentag
Page 18
18 |
Konzept – Prozessablauf
© 2019 Software AG. All rights reserved.
Clustering
Klassifikation
Beschreibende
Modelle
Exportieren
Modell Zeitreihen-
vorhersage (ARIMA)
berechnen &
validieren
Neues
Modell
(ARIMA)
berech-
nen
Page 19
19 |
Online-Analyse
© 2019 Software AG. All rights reserved.
Konzept Modelländerung
Initiales Modell (Day-Ahead)
Beobachtung
Referenzzeitreihe
Modelländerung (Intraday)
0 Uhr 24 Uhr
X
Concept Drift
11 Uhr
Me
sse
inh
eit (
kW
h)
Abb. 4: Beispiel Referenzmodell
Page 20
20 |
Konzept – Prozessablauf
© 2019 Software AG. All rights reserved.
Clustering
Klassifikation
Beschreibende
Modelle
Exportieren
Modell Zeitreihen-
vorhersage (ARIMA)
berechnen &
validieren
Zeitreihe labeln
und speichern
Neues
Modell
(ARIMA)
berech-
nen
Page 21
21 |
Ergebnis
© 2019 Software AG. All rights reserved.
Page 22
22 |
Entwicklung des Datenstrom
Auswertung – Zusammenfassung
Das vorhersagende Modell (prädiktiv),
wie z.B. ARIMA, muss an das neue
Konzept im Datentrom angepasst
werden.
Concept Drift
Das beschreibende Modell (deskriptiv),
wie z.B. Clustering oder Klassifikation,
muss an das neue Konzept im
Datenstrom angepasst werden.
Concept Evolution
© 2019 Software AG. All rights reserved. For internal use only
Das „echtzeitfähige Model Management System“ hat auch im Zuge einer
Concept Evolution weiterhin angemessene Vorhersagen treffen können.
Page 23
23 |
Ausblick
© 2019 Software AG. All rights reserved.
Wie geht es weiter?
Page 24
24 |
Ausblick
Einsatz der Technologie im
BMWi Förderprogramm
„enera“ zur Analyse von
Smart Meter Daten
Berechnungsaufwand der
„heuristischen“ Strategie
verkürzen, z.B. mit einfachen
Modellen (Mean und Naiv)
Clusterbasierte Änderungs-
erkennung zur automatisierten
Modellabweichung und Concept
Evolution Erkennung
© 2019 Software AG. All rights reserved.
Page 25
25 |
Quellnachweis
© 2019 Software AG. All rights reserved.
[Dannecker2015] Dannecker, Lars: Energy Time Series Forecasting – Efficient and Accurate
Forecasting of Evolving Time Series from the Energy Domain. Springer
Fachmedien Wiesbaden, 2015
[Tran2013] Tran, Dang-Hoan: Change detection in streaming data, Technische Universität
Ilmenau, Germany, Diss., 2013.
[Mohammad2010] Mohammad, Masud M. ; Chen, Qing ; Khan, Latifur ; Aggarwal, Charu ; Gao, Jing
; Han, Jiawei ; Thuraisingham, Bhavani: Addressing Concept-Evolution in
Concept-Drifting Data Streams. In: Proceedings of the 2010 IEEE International
Conference on Data Mining. Washington, DC, USA : IEEE Computer Society,
2010 (ICDM ’10). – ISBN 978–0–7695–4256–0, 929–934
[Haque2016] Haque, Ahsanul ; Khan, Latifur ; Baron, Michael ; Thuraisingham, Bhavani ;
Aggarwal, Charu: Efficient handling of concept drift and concept evolution over
Stream Data. In: 2016 IEEE 32nd International Conference on Data Engineering
(ICDE), 2016, S. 481–492
Page 26
© 2019 Software AG. All rights reserved.
Yvonne Hegenbarth
Solution Engineer
[email protected]
Vielen Dank für Ihre
Aufmerksamkeit! Konzept und Implementierung eines
echtzeitfähigen Model Management Systems
Gerald H. Ristow
Senior Research Manager
[email protected]