Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

Regionales RechenZentrum Erlangen (RRZE)

Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten Kai Ramsch, Birgit Kraft WiN-Labor

2

Hintergrund und Motivation Problemstellung und Lösung

Statistisch-algorithmische Methode

Ergebnisse

Ausblick

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Agenda

3

WiN-Labor am RRZE: Quality of Service Tools zur Überwachung und Analyse von

Weitverkehrsnetzwerken X-WiN, GÉANT, LHCOPN, …

IETF-Standard: OWD, OWDV, Packet Loss


Hintergrund

4 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

HADES Messungen im X-WiN


Anomalieerkennung durch HADES-Messdaten

Problemstellung und Lösung

7

Manuelle Auswahl eines (Norm-)Zeitintervalls Statistisches Modell der OWD Daten

Statistischer Test als Indikator für Normalität


Idee der Anomalieerkennung auf einer Leitung

8

QoS im X-WiN Analyse der Ausfälle: Zuordnung Ereignis – Ursache Wenig netzbedingte Ausfälle

Kalibrierung anhand von Uhrenereignissen und Route Changes!


Kalibrierung/Verifikation des Verfahrens

9

HADES Messsystem: GPS-basierte Zeitsynchronisation über NTP kontinuierliches Anpassen der Systemuhr Entstehung von Uhrenereignissen: Wärme → Oszillatorfrequenz verändert → Zeitsignal verfälscht → langsame NTP Anpassung für Messinfrastrukturbetreiber interessant (Qualitätsindikator)


Uhrenereignisse


Uhrensynchronisierungsfehler


Route Change

Statistisch-algorithmische Methode

13

Filtern von Zeitsynchronisationsfehlern Route Changes

Intrinsic Delay → Normalisierung auf Verteilung nahe 0

Gut durch Gammaverteilungen modellierbar!* * P. Holleczek et. al.: Statistical characteristics of active IP one way delay measurements. In Proc. Int. Conf. on Networking and Services, 2006, S. 1–1, 2006.


Vorverarbeitung

14

Gamma Mixture Model: Expectation Maximisation Algorithm: E-Step: Berechne die Wahrscheinlichkeiten 𝑧𝑖𝑖, dass die Daten 𝑖

durch die Modellkomponenten 𝑘 erzeugt wurden. M-Step: Setze alle Parameter auf das Maximum der Likelihood-

Funktion für den jeweiligen Parameter.

T. Holleczek: Statistical Analysis of IP Performance Metrics in International Research and Educational Networks. Diplomarbeit, Univ. Erlangen Nürnberg, 2008.


Modellierung

𝒇 𝒙 = �𝝅𝒊 ⋅ 𝓖𝒊 𝒙𝑲

𝒊=𝟏

𝜋𝑖 ∈ 0,1 und

𝒢𝑖 𝑥 = βiαi

Γ αixαi−1e− βi𝑥 mit

𝛼𝑖 ,𝛽𝑖 ∈ (0,∞)


Verteilung der Rohdaten


Gamma Verteilungen


Gamma Mixture Model

18

Partitionierung in Testintervalle (zu je 4h) Berechnung der Teststatistik: Klassifizierung in Wertebereiche (𝐵1,𝐵2, … ,𝐵𝑀) 𝜒2-Teststatistik:

𝜒2-Test: Konfidenzintervall mit 𝛼 = 0.05

Testintervall ist normal gdw. 𝝌𝟐 < 𝑸𝝌𝟐(𝟏 − 𝜶)

Indikatorfunktion zum Messen von Anomalien!


Anomalieerkennung

𝝌𝟐 = �(𝑵𝒋

𝒐−𝑵𝒋𝒆)𝟐

𝑵𝒋𝒆

𝑴

𝒋=𝟏

𝑁𝑗0 = #OWDs in 𝐵𝑗 und

𝑁𝑗𝑒 = � 𝑓(𝑥)𝐵𝑗

𝑑𝑥

Ergebnisse


Anomaliedetektion bei Route Change


Verbesserung der Methode: Skalierungsproblem


Verbesserung der Messdatenverarbeitung

23

jetzt: Fehleranalyse HADES Infrastruktur: Leichte Schwingungen im OWD-„Signal“ sind „Messfehler“ durch NTP

später: Automatische Erstellung des Normintervalls: Modell über sehr große

Historie Simulation von Lastszenarien im Labor Klassifkation von Anomalien Erklärung von Ereignissen und Zuordnung zu Nutzergruppen …dereinst: Früherkennung


Ausblick

Regionales RechenZentrum Erlangen WiN-Labor Kai Ramsch Martensstr. 1 91058 Erlangen Telefon: 09131 / 85 - 28800 [email protected]

Vielen Dank für Ihre Aufmerksamkeit!

Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

Documents