Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur Decision Support Systems Entscheidungsunterstützungssystem Fabian Karl Arbeitsbereich Wissenschaftliches Rechnen Fachbereich Informatik Fakultät für Mathematik, Informatik und Naturwissenschaften Universität Hamburg Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 1 / 43
43
Embed
Decision Support Systems Entscheidungsunterstützungssystem€¦ · Decision Support Systems Beispielanwendung Unsupervised Learning Supervised LearningZusammenfassungLiteratur DecisionSupportSystems
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Decision Support SystemsEntscheidungsunterstützungssystem
Fakultät für Mathematik, Informatik und NaturwissenschaftenUniversität Hamburg
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 1 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Gliederung
1 Decision Support Systems
2 Beispielanwendung
3 Unsupervised Learning
4 Supervised Learning
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 2 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Motivation
Was ist das?
Ein künstliches System, dass Menschen hilft gute und optimaleEntscheidungen zu treffen.
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 3 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Motivation
Wann wird das gebraucht?
Wenn es zu viele Daten gibtWenn Daten zu unstrukturiert, zu hoch-dimensional oder zugroß werdenWenn man als Mensch nicht mehr zurückverfolgen kann, wiesich die Daten beeinflussen
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 4 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Motivation
Wie kann eine Decision Support System aussehen?
Systeme, die Menschen bei deren Entscheidungen helfen:Visualisieren der DatenUmstrukturieren der DatenVergleiche erstellenClusternMittelwerte berechnen
Systeme, die eine Entscheidung treffen bzw. vorschlagen:Supervised Learning (Überwachtes Lernen)
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 5 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Kompressionsbenchmark
Beispielanwendung: Datenkompression
Finde einen optimalen Kompressionsalgorithmus für neue undunbekannte wissenschaftliche Daten.
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 6 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Kompressionsbenchmark
Isabel: Ein Klimadatensatz
Daten vom Hurricane Isabel im September 20031
13 verschiedene Messeinheiten, die über 48 Zeitschritte (time)gemessen wurdenJeder Zeitschritt hat 500x500x100 Gleitkommazahlen(longitude x latitude x vertical)
1http://www.vets.ucar.edu/vg/isabeldata/Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 7 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 11 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Ergebnisse: lzBench
Lösung durch Testen
Durch Testen eines jeden Datenpunkts wird das Problem gelöstDaten können nach verschiedenen Metriken geordnet werdenDer optimale Algorithmus kann ausgewählt werden
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 12 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Ergebnisse: lzBench
Vor- und Nachteile von naivem Testen
+ korrekter Weg um den optimalen Lösung zu finden+ Ergebnisse können wieder verwendet werden
− sehr hoher Zeitaufwand− Bei anderen Problemen noch viel Aufwändiger oder unmöglich
(Bsp: Bilderkennung, Aktienkurse)− Expertenwissen wird benötigt
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 13 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Ergebnisse: lzBench
Verwenden einer Heuristik
Eventuell wurde bereits ein sehr ähnlicher Datensatz getestetund gespeichertFinde über eine Heuristik einen bereits getesteten Datensatz,der dem unbekannten am ähnlichsten istStatt jeden neuen, unbekannten Datensatz zu testen
Zeitgewinn aber Verlust an Genauigkeit und Sicherheit
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 14 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Kategorisierung
Jedem Datenpunkt eine Gruppe zuweisenZum Beispiel: Jedem Datensatz einen KompressionsalgorithmuszuweisenBei minimalem Wissen (noch keine getesteten Daten):Clustering
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 15 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Clustering
Clustering ist eine Form von Unsupervised LearningDatenpunkte werden aufgrund einer unterliegenden Struktur inGruppen (Cluster) eingeteiltAlgorihtmen: K-Means [4], Expectation-Maximization, SelfOrganizing Maps
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 16 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
k-Means Algorithmus
k-Means
3
3https://www.youtube.com/watch?v=_aWzGGNrcic&t=312s by VictorLavrenko
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 17 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
k-Means Algorithmus
Abbildung: Zufällig k (hier 2) Centroids bestimmen
7
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 18 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
k-Means Algorithmus
Abbildung: Jeder Datenpunkt wird seinem nächsten Centroid zugewiesen
7
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 19 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
k-Means Algorithmus
Abbildung: Die Centroide wandern in den Mittelpunkt ihrer zugewiesenenPunkte. Dann wird jeder Punkt neu zugewiesen.
7
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 20 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
k-Means Algorithmus
Abbildung: Dieser Vorgang wir bis zur Konvergenz wiederholt
7
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 21 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
k-Means Algorithmus
Abbildung: Die Datenpunkte wurden in k=2 Cluster unterteilt
7
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 22 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
k-Means Algorithmus
k-Means: Vor- und Nachteile
+ Sehr leicht zu implementieren+ Gut nachvollziehbar+ Oft gute Ergebnisse
− Beruht auf der Annahme: Distanz = Ähnlichkeit− k muss gewählt werden
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 23 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
k-Nearest Neigbour Algorithmus
Einfachste Heurisitk: Distanz
unter der selben Annahme:Distanz ist ein Indiz für Kompressionsalgorithmus.Es existieren bereits Gruppen mit ein LabelEin Label für einen neuen Datenpunk kann bestimmt werdenk-Nearest-Neighbour Algorithmus kann verwendet werden
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 24 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
k-Nearest Neigbour Algorithmus
Abbildung: k-Nearest-Neigbour Algorithmus für k=3 mit zwei Klassen
4
4https://commons.wikimedia.org/wiki/File:KnnClassification.svgFabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 25 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Idee: Supervised Learning
Verwendung von Target Variable (Label bei Klassifizierung)Wenn ein Target existiert, kann bei einer Abweichung diesesTargets ein Fehler berechnet werdenDadurch kann das System trainiert (optimiert) werden
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 29 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Idee: Supervised Learning
Eine Funktion von Input auf Label wird gelerntF(Bild) → Tiername bzw.F(Datensatz) → KompressionsalgorithmusVerschiedene Algorithmen existieren: Entscheidungsbaum,Support Vector Machine, Neuronale Netzwerke, BayesianClassifiers, ...
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 30 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Neuronale Netzwerke
Neuronale Netzwerke [3]
Abbildung: Feed Forward Neural Network mit 3 Input- und 2Output-Knoten
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Neuronale Netzwerke
Neuronale Netzwerke
Abbildung: Das Netzwerk lässt sich durch eine Funktion darstellen
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 33 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Neuronale Netzwerke
Optimierung durch Gradient Decent
Abbildung: Der Fehler in Abhängigkeit von den Gewichten
12
12http://blog.datumbox.com/tuning-the-learning-rate-in-gradient-descent/Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 34 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Neuronale Netzwerke
Beispiel Image Classification [1]
13
13http://www.cs.cmu.edu/~aarti/Class/10701_Spring14/slides/DeepLearning.pdfFabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 35 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Decision Tree
Vergleich von Decision Tree zu Neuronalem Netzwerk
+ Einfacher zu interpretieren und zu verstehen+ Keine Normalisierung des Inputs notwendig
− Probleme können zu komplex werden
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 39 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Decision Tree
Zurück zu Datenkompression
genug Datensätze wurden getestet und ihre optimalenKompressionsalgorithmus wurden gefundenoptimaler Kompressionsalgorithmus als Label für jedenDatensatzfür neue, unbekannte Daten kann ein Kompressionsalgorithmusvorhergesagt werden
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 40 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Decision Tree
Ergebnis: Supervised Training
+ zuverlässige Vorhersage bei genug Training+ schnelle Vorhersage für neue Daten+ erkennt wiederkommende Features und Strukturen in den
Daten
− benötigt viele Trainingsdaten um gut zu funktionieren− Training benötigt Zeit und Resourcen− Daten müssen die selben Dimensionen haben (cutting, padding)
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 41 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Zusammenfassung: Decision support System
Verschiedene Ansätze um eine optimale Entscheidung zu finden:Oft sind Probleme theoretisch lösbar, aber nur unter Einsatzvon sehr viel ZeitClustering kann verwendet werden, um unlabeled Daten zugruppierenDistanz als einfache Heuristik verwenden: einfach und schnellaber kann sehr ungenau seinSupervised Learning: Sehr gute Vorhersagen bei genugTrainingsdaten aber Lable nicht immer vorhanden
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 42 / 43
Decision Support Systems Beispielanwendung Unsupervised Learning Supervised Learning Zusammenfassung Literatur
Literatur
[1] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Delving deepinto rectifiers: Surpassing human-level performance on imagenetclassification. In Proceedings of the IEEE international conference oncomputer vision, pages 1026–1034, 2015.
[2] J. Ross Quinlan. Induction of decision trees. Machine learning, 1(1):81–106,1986.
[3] Jürgen Schmidhuber. Deep learning in neural networks: An overview. Neuralnetworks, 61:85–117, 2015.
[4] Pang-Ning Tan, Michael Steinbach, and Vipin Kumar. Introduction to DataMining, (First Edition). Addison-Wesley Longman Publishing Co., Inc.,Boston, MA, USA, 2005.
Fabian Karl Decision Support SystemsEntscheidungsunterstützungssystem 43 / 43