MASCHINELLES LERNEN & DATAMINING Vorlesung im Wintersemester 2017 Prof. E.G. Schukat-Talamazzini Stand: 23. Oktober 2017 Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ Teil I Methoden und Aufgabenstellungen Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Zusammenfassung Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ Was ist Lernen ? Antworten dreier Urväter des maschinellen Lernens Lernen nach Herbert Simon „Learning denotes changes in the system that are adaptive in the sense that they enable the system to do the same task (or tasks drawn from the same population) more efficiently and more effectively the next time.“ (Automatic Performance Improvement) Lernen nach Dana Scott Prozeß des Aufbaus abrufbarer Repräsentationen von vergangenen Interaktionen mit der Umwelt Lernen nach Ryszard Michalski Konstruieren oder Verändern der Repräsentationen von Erfahrungen Trifft Simons Definition unser intuitives Verständnis? ... zu weit? Schärfen eines Messers schnellere CPU ... zu eng? Zwangsarbeiter täuscht Leistung vor Passant Oper Auskunft Leistungsbegriff?!
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
MASCHINELLES LERNEN & DATAMINING
Vorlesung im Wintersemester 2017
Prof. E.G. Schukat-Talamazzini
Stand: 23. Oktober 2017
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Teil I
Methoden und Aufgabenstellungen
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Was ist (maschinelles) Lernen ?
Beispielanwendungen
Repräsentationsformalismen
Data Mining
Zusammenfassung
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Was ist Lernen ?Antworten dreier Urväter des maschinellen Lernens
Lernen nach Herbert Simon„Learning denotes changes in the system thatare adaptive in the sense that they enable thesystem to do the same task (or tasks drawnfrom the same population) more efficiently andmore effectively the next time.“(Automatic Performance Improvement)
Lernen nach Dana ScottProzeß des Aufbaus abrufbarerRepräsentationen von vergangenenInteraktionen mit der Umwelt
Lernen nach Ryszard MichalskiKonstruieren oder Verändern derRepräsentationen von Erfahrungen
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Beispiel QUBICDreidimensionales Tic tac toe · Kubus mit 43 = 64 Feldern
X
O
X
O
X
O
X O
Zielfunktion eval∗ : B 7→ [−100,+100]
eval∗(b) =
+100 wenn 4 X in einer Reihe−100 wenn 4 O in einer Reihe0 wenn Remisstellung erreichtE[.] Erwartungswert der Endstellung
bei optimaler Strategie
Lösungsmodell (lineare Näherung für eval∗)
eval(b) = w0 + w1x1 + w2x2 + . . .+ w10x10 =: w>x
mit den Prädiktorvariablen xi = xi (b):
x1(x2) = # offener Reihen mit einem X (O)x3(x4) = # offener Reihen mit zwei X (O)x5(x6) = # offener Reihen mit drei X (O)x7(x8) = # Schnittpunkte von X-Reihen (O-Reihen)x9(x10) = # Schnittpunkte s.o.; ≥ 2 X (O) je Reihe)
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Lernen der StellungsbewertungsfunktionDie Kenntnis von eval∗(·) ermöglicht eine optimale Zugauswahl
LerndatenObjekte mit allen Attributwerten & der Begriffzugehörigkeit:
# sky air humidity wind water forecast gosailing1 sunny warm normal strong warm same T2 sunny warm high strong warm same T3 rainy cold high strong warm change F4 sunny warm high strong cold change T
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Beispiel: Konzeptuelles LernenInduktion als Versuch der Datenbeschreibung mit unzureichenden Mitteln
GESUCHTPassende Hypothese h ∈ H aus geeignetem Repräsentationenraum.
• Hypothesenraum H =̂ Konjunktionen von Attribut-Wert-Paaren(z.B. sky = sunny∧water = cool)
• Lerndaten =̂ positive und negative Beispiele
• Optimale Vorhersage der Urteile gosailing(.) durch h
Postulat des induktiven Lernens
Wenn Hypothese h approximiert Zielfunktion auf (großer)Lernstichprobe
Dann Hypothese h approximiert Zielfunktion auf bislangunbeobachteten Beispielen
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Was ist (maschinelles) Lernen ?
Beispielanwendungen
Repräsentationsformalismen
Data Mining
Zusammenfassung
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Was ist (maschinelles) Lernen ?
Beispielanwendungen
Repräsentationsformalismen
Data Mining
Zusammenfassung
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Was ist Data Mining ?... und warum wird seit Beginn des Jahrtausends so viel darüber geredet ?
„Data Mining is the exploration and analysis,by automatic or semi-automatic means,of large quantities of datain order to discover meaningful patterns and rules.“
Woher kommt der aktuelle Boom ?
• Massenproduktion von Daten• Präsentation in data warehouses• Rechnerleistung verfügbar• Kommerzielle Datamining-Software erhältlich• Starker Konkurrenzdruck
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
KDD — Knowledge Discovery in Databases„We are drowning in information, but we are starving for knowledge.“ (John Naisbett 1996)
Was sind Daten?· einzelne Objekte· individuelle Merkmale· riesige Fallzahlen· verwirrende Vielfalt· preiswert zu beschaffen Voraussagen
Was ist Wissen?· Klassen von Objekten· globale Muster· allgemeine Gesetze· einfache Prinzipien· schwer zu bekommen⊕ Voraussagen
Tycho Brahe (1546–1601)
Massendatensammlung zu denUmlaufbahnen der Himmelskörperunseres Planetensystemsgeozentrische Koordinaten
Johannes Kepler (1571–1630)
1. Umlaufbahnen sind elliptisch2. Laufzeit ∝ Sektorfläche3. Umlaufperiode2 ∝ Großradius3
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Typische Datenquellen
Industrielle ProzeßdatenAnalyse der Altpapieraufbereitung bei Kübler+Niethammer8 Deinkingzellen à 54 Sensoren à 9000 Meßwerte/Tag 3.888.000 Mw/T
UmsatzdatenbankenWarenkorbanalyse für die Scannerkassen bei WalMart20 Millionen Transaktionen/Tag Datenbank 24 Terabytes
MolekularbiologieHuman Genome Database ProjectEntschlüsselung des genetischen Codes des Menschen60 000–80 000 Gene 3 Milliarden DNA-Basen
Visuelle DatenNASA Earth Observing System sammeltOberflächenbilder tieffliegender Satelliten 50 Gigabytes/Stunde
TextinformationenCa. 10 Milliarden HTML-Seiten im World Wide WebSuchmaschinen, Indexierer, Extrahierer, Emailfilter
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Was ist das Analyseziel ?Abstrakter Datensatz =̂ Relation (Objekte × Attribute)
GruppierungPartitionierung der Datenobjekte in Häufungsgebiete
KlassifikationZuordnung von Datenobjekten zu Kategorien
DependenzstrukturAufdecken der Abhängigkeiten zwischen den Objektattributen
PrädiktionVorhersage (noch) nicht verfügbarer Objektattribute
Selektion und AssoziationErkennung von Auffälligkeiten & Regelmäßigkeiten
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
KundenbetreuungKundenbindung (Beispiel: 5% Reduktion der Fluktuation 200% Gewinn)Direktmarketing (Handel, Bank, Versicherung)Warenkorbanalyse im Einzelhandel
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Beispiel ProzeßautomatisierungIndustrielle Herstellung von ICE-Türen aus Verbundwerkstoffen
FertigungszelleProzeßkettenmodell =̂ Workflow mit aktiven & passiven Komponenten:
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
ProzeßdatenerhebungAutomatisierung in der Papierindustrie
Zielgröße PapierqualitätConcora Medium Test
CMT def= „Gewicht“ / „Festigkeit“
26 Stellgrößen und MeßwerteDruck, Temperatur, Menge, Gewicht, Qualität von Rohstoffen undZwischenprodukten
Merkmal 13
CMT
Merkmal 13
CMT
Merkmal 13
CMT
Streudiagramm Globales ModellZwei lokale Modelle
Elliptotype-Cluster mit x27 = 1.56 · x13 + 0.32 und x27 = 0.60 · x13 + 0.48
Was ist (maschinelles) Lernen ? Beispielanwendungen Repräsentationsformalismen Data Mining Σ
Ablauf des Datamining-ProzessesAutomatisierung in der Papierindustrie
〈Algorithmus〉
0 LAUFZEITBEREINIGUNGTransformation physikalischer Zeit t an Prozeßstation Pi via τ = t + ∆tiMeßwertvektoren x̃t ∈ IR27 Fälle xτ ∈ IR27 mit synchronisierter Referenzzeit
1 DATENSATZBEREINIGUNGUngültige Einträge markieren · Ausreißer nach 4σ-Regel markierenFälle mit markierten Werten tilgen
2 NORMIERUNGJedes der 27 Merkmale wird auf N (0, 1) normiert.
3 DEPENDENZANALYSEUntersuche Abhängigkeiten der Form (xi , x27) und (xi , xj , x27).
4 REGRESSIONSANSATZLinear oder stückweise linear · zwei Elliptotype-Cluster
Vorwissen und überlegene Rechnerleistung zu einer neuen Qualitätintelligenter Informationsverarbeitung.
2. Induktives Lernen, die Verallgemeinerung auf Basis von Einzelfällen, isteine unverzichtbare, gleichwohl unbeweisbare Schlußtechnik.
3. Die Lernbeispiele zu einem Begriff und ihre Etikettierung werden vomLehrer und/oder dem Lernprogramm vorgegeben.
4. Die Frage nach einer (geeigneten) Repräsentation stellt sich bei denpräsentierten Datenobjekten, den zugrundeliegenden Begriffen(„Konzepten“) und den zu lernenden Hypothesen.
5. Die Objektrepräsentation umfasst numerische, symbolische, prozedurale,relationale und metrisch-topologische Darstellungen.
6. Zur Lösung der Lernaufgabe wird ein Erfolgskriterium optimiert.7. Datamining ist die (oft interaktive) Anwendung von ML-, Statistik- und
Visualisierungsmethoden auf große Datenbestände.8. Das Anliegen ist das Aufdecken von Gruppenstrukturen und
Abhängigkeiten, das Ermitteln von Kategoriezugehörigkeiten sowieVorhersage und Abgleich zukünftiger oder unzugänglicher Attributwerte.
9. Datamining ist ein zyklischer Prozess der Schritte Akquisition,Bereinigung, Modellierung und Evaluierung.