Engel Gedan Petersen TU Darmstadt Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen
Engel Gedan PetersenTU Darmstadt 1
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen
Engel Gedan PetersenTU Darmstadt 2
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Aufgabenstellung
Klassifikation und Regression mittels neuronaler Netze
– Vergleich verschiedener Verfahren• RBF-Netz• SVM (Support Vector Machines)• LOLIMOT
– Implementieren eines RBF-Netzes
– LIBSVM-Interface programmieren
– Entwicklung einer Matlab-GUI
– Auswertung der Resultate
Engel Gedan PetersenTU Darmstadt 3
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Klopferkennung am Ottomotor
• Klopfen am Ottomotor– Tritt im Zylinder auf (Druckschwankungen)– Entsteht bei hohen Drücken und Temperaturen– Langfristig treten durch das Klopfen
mechanische Schäden auf– Die Motorsteuerung kann entsprechende
Gegenmaßnahmen einleiten
• Klopfdaten:– Körperschallmerkmale im Zeitbereich– Abgeleitete Merkmale im Frequenzbereich
Engel Gedan PetersenTU Darmstadt 4
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Schätzung des Stickoxidgehalts
• NOx-Emission in Motorabgasen
– Stickoxide unerwünscht (Abgasverordnung)
• Maßnahmen zur NOx-Verminderung
– Optimierung des Verbrennungsprozesses
– Messwerte des NOx-Gehalts notwendig
– Lösung durch Berechnung des NOx-Werts mittels neuronaler Netze
• Vorhersage des NOx-Gehaltes mittels:
– Motordrehzahl– Luftmassenstrom– Drosselklappenstellung
Engel Gedan PetersenTU Darmstadt 5
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Vergleich der Netze
SVM
LOLIMOT
RBF
GUI
- unterschiedliche Lernalgorithmen- gleiche Netzstrukturen
- unterschiedliche Lernalgorithmen
- unterschiedliche Netzstrukturen
- ähnliche Lernalgorithmen
- unterschiedliche Netzstrukturen
Engel Gedan PetersenTU Darmstadt 6
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
• 3 Freie Parameter – Gewichtung – Position c– Sigma
• N-dimensional
• Netz: Summe vieler Gaußglocken
+
x1
x2
Radiale Basisfunktionen
,c
Engel Gedan PetersenTU Darmstadt 7
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Orthogonal Least Squares
• Berechnung in zwei Schleifen• Innere Schleife:
Fehlerberechnung für verfeinerte Modelle (Strukturoptimierung)
• Problem: Gewichte sind voneinander abhängig!
• Lösung: orthogonalisieren (Transformation)
• Neue Gewichte sind voneinander unabhängig
• Fehlerberechnung mit neuen Gewichten möglich
• Äußere Schleife:– Rücktransformation– Abbruchkriterien
Engel Gedan PetersenTU Darmstadt 8
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
SVM-Klassifikation • Separation von Daten in Klassen
– Berechnung trennender Hyperebenen
• Optimale Separation durch– Maximierung des Spaltabstands zu beiden Klassen
• Vektoren auf dem Spalt sind Stützpunkte der Ebene
Support-Vektoren
max
x1
x2
Engel Gedan PetersenTU Darmstadt 9
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
SVM-Regression
• Unterschiede zu anderen Verfahren– Insensitivität ()– Toleranz von
Abweichungen ()
• Mathematisches Vorgehen– Abbildung in
hochdimensionalen Raum
– Dort linear lösbar
i
*i
+
-
Engel Gedan PetersenTU Darmstadt 10
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
LIBSVM-Interface
• LIBSVM ist Open Source
• Bietet Kommandozeilentools für– Skalierung– Training – Ein-Schritt-Vorhersage
• Motivation für das Interface– C-Code ist in Matlab nicht direkt verwendbar– Verwendung auf der Kommandozeile umständlich
• Gewinn durch das Interface– Algorithmen jetzt in Matlab verfügbar– Simulation und graphische Darstellung möglich– Einfachere Bedienung
Engel Gedan PetersenTU Darmstadt 11
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
LIBSVM-Interface
Engel Gedan PetersenTU Darmstadt 12
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Kreuzvalidierung
• Eine Verfeinerung der Modelle führt ab einem gewissen Punkt zu Überanpassung
• Das Minimum lässt sich nicht vorhersagen, sondern muss per Kreuzvalidierung ermittelt werden
• Suche nach Minima des Validierungsfehlers in Abhängigkeit von freien Parametern
Engel Gedan PetersenTU Darmstadt 14
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
GUI
Engel Gedan PetersenTU Darmstadt 15
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Berechnungen
• Klassifikation– Variation der Datensätze
• Verschiedene Zylinder• Verschiedene Messreihen
– Variation der Merkmale• Zeitbereichsmerkmale• Frequenzbereichsmerkmale• Kombination
• Regression– Training mit Ein-Schritt-Prädiktion– Anschließende Überprüfung mit einer Simulation
Engel Gedan PetersenTU Darmstadt 16
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
0
5
10
15
20
25
30
35
4 -> 4 t 4 -> 4SA
6 -> 4 t 6 -> 4SA
4 -> 6 t 4 -> 6SA
4 -> 6FRQ
SVMRBFLOLIMOT
Ergebnisse
• Erfolg schwach abhängig von der Wahl des Verfahrens
• Jedoch stark abhängig von der Wahl der Daten
Kla
ssif
ikat
ion
sfeh
ler
in %
Engel Gedan PetersenTU Darmstadt 17
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Regression
Engel Gedan PetersenTU Darmstadt 18
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Zusammenfassung und Ausblick
• Problemstellung mit gegebenen Verfahren gut lösbar
• Daten wichtiger als Verfahren (Messstrategien)
• Rechenzeit abhängig vom Verfahren
• Toolbox erfolgreich entwickelt
• Überprüfung der Praxistauglichkeit
• Ausbau der Toolbox möglich
• Weitere Anwendungen der Toolbox sinnvoll
Engel Gedan PetersenTU Darmstadt 19
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Noch Fragen?