Business Analytics Day Business Analytics Day | 07.03.2019 Artur Felic, Pol Zeimet | CAS Software AG Predictive Sales in CRM
Business Analytics Day
Business Analytics Day | 07.03.2019
Artur Felic, Pol Zeimet | CAS Software AG
Predictive Sales in CRM
CAS Software AG
in Zahlen
Jedem Kunden seine CAS
CAS Software AG – eine Netzwerkorganisation
CAS Mittelstand: Marketing & Vertrieb der CRM-ProdukteCAS Drive: CRM-Lösungen für Autohäuser CAS Education: Flexible Lösungen für BildungseinrichtungenCAS Communities: CRM-Lösungen für Netzwerke und VereineCAS SmartCustomization: Produktkonfiguratoren, Vertriebs- & Produktplanungslösungen für GroßunternehmenCAS Aviation: Produktkonfiguratoren für LuftfahrtindustrieCAS Engineering: Produktkonfiguratoren für den MaschinenbauCAS Ecosystems: OrganisationsübergreifenderKollaborations-SupportCAS Future Labs
4
CAS FUTURE LABS
Visions. Grow. Innovation.
Future Labs
Artificial
Intelligence
Lab
Crypto
Lab
Future
Devices
Lab
Dev
Lab
…
Lab
Customization
Lab
PREDICTIVE SALESI M C U S T O M E R R E L A T I O N S H I P M A N A G E M E N T
Pol Zeimet | CAS Software AG
Inhalt
Pol Zeimet | CAS Software AG
Das Projekt
• Was ist CRM?
• Predictive Sales
• Maschinelles Lernen
Die Vorgehensweise
• Analyse
• Vorhersage
• Datenaufbereitung
Das Ergebnis
• Modell-Performance
• Aussagekraft und Mehrwert des Modells
• Verbesserungsmöglichkeiten und Ausblick
DAS PROJEKT
Pol Zeimet | CAS Software AG
CRM-
System*
Kunden-
Gewinnung
Kunden-
Anziehung
Kunden-
Bindung
Kunden-
Entwicklung
Kundenwert
-Steigerung
Das Projekt
Was ist ein CRM?
Pol Zeimet | CAS Software AG
*Nach Tala Mirzaei,
Lakshmi Iyer und
Sean Kelly
Das Projekt
Predictive Sales
Pol Zeimet | CAS Software AG
Verkaufs-
chancen
Chance auf
Erfolg
prüfen
Auffällige
Merkmale
Besseres
Feedback
für Vertrieb
Besseres
Kauferlebnis
Das Projekt
Maschinelles Lernen
Pol Zeimet | CAS Software AG
DIE
VORGEHENSWEISE
Pol Zeimet | CAS Software AG
Cross Industry Standard Process for Data-Mining
Vorgehensweise
CRISP-DM
Pol Zeimet | CAS Software AGPol Zeimet | CAS Software AG
• Prozessanalyse
• Datenanalyse
• Datenaufbereitung
• Modellierung
• Evaluierung
Vorgehensweise
Prozess- und Datenanalyse
Pol Zeimet | CAS Software AG
Wie Funktioniert der Prozess?
Wie werden welche Daten gepflegt?
Welche Daten enthalten nützliche
Informationen?
Welche Daten können ignoriert
werden, welche verwendet?
Vorgehensweise
Die Vorhersage
Pol Zeimet | CAS Software AG
Vorhersage auf „STATUS“-Feld der Verkaufschance.
• 13 Ausprägungen
Multiklassifizierungs-Problem
• Weniger Auswahl an Modellen
• Komplexere Modelle
• Schlechtere Performance
Vorschlag
• Beschränkung auf 2: Ausprägungen; gewonnen/verloren
➢Positiv aufgenommen da übersichtlicher
➢Performantere Modelle
Pol Zeimet | CAS Software AG
Vorgehensweise
Die Vorhersage
Restliche
Daten
Gewonnen/
Verloren
Random-Forest-Modell
Vorgehensweise
Datenaufbereitung - Herausforderungen
Pol Zeimet | CAS Software AG
• Infrastruktur
• Datenschutz und DSGVO
Datenzugriff
• Viele Objekte mit vielen Features
• Sparse Data und Missing Data
• Viele Freitextfelder, wenig Kohärenz
=>Über Zeit gewachsenes System
Zustand der Daten
Vorgehensweise
Datenaufbereitung
Pol Zeimet | CAS Software AG
Am Ende:
▪ ~75.000 Datenpunkte
▪ Davon ~10.000 für
Modelltraining
▪ 131 Features
DAS ERGEBNIS
Pol Zeimet | CAS Software AG
Das Ergebnis
Performance des Modells – Mit Testdaten
Pol Zeimet | CAS Software AG
Klasse Precision Recall F1-Score Support
Verloren 0,93 0,94 0,94 1853
Gewonnen 0,88 0,84 0,86 866
Mittel/Total 0,91 0,91 0,91 2719
Micro F1-Score 0,911
Macro F1-Score 0,897
Mittlere Genauigkeit auf Trainingsdaten 0,943
Mittlere Genauigkeit auf Testdaten 0,903
Das Ergebnis
Performance des Modells – Mit Testdaten
Pol Zeimet | CAS Software AG
Das Ergebnis
Aussagekraft der Vorhersage
Pol Zeimet | CAS Software AG
Modell
„zweite
Meinung“
statistisch
hinterlegter
Anhaltspunkt
verständliche
Vorhersage
transparente
Vorhersage
Überblick
schaffen
Prioritäten
setzen
Das Ergebnis
Mehrwert des Modells
Pol Zeimet | CAS Software AG
Das Ergebnis
Verbesserungspotential
Pol Zeimet | CAS Software AG
Feinere Vorhersagen
Entscheidungs-Sicherheit mit angeben
Aktiv Verbesserungshinweise liefern
Wahl zwischen optimistischen/pessimistischen Modellen
Genauere Vorhersagen durch aussagekräftige Features
Ausblick - Wie geht es weiter?
Pol Zeimet | CAS Software AG
• Erste Iteration weitgehend abgeschlossen
• Nächste Entwicklungsiteration
• Implementierung ausgewählter
Verbesserungsmöglichkeiten
• Steigerung der Vorhersage-Genauigkeit
Weiterentwicklung und Nutzung des
Modelles oft gewünschte Fortsetzung
➢ Technologie die existierende
Probleme angehen kann
➢ Hilfreiches, sinnvolles Features
➢ Attraktiveres Produkt falls in CRM-
System eingebaut
Ergebnis
Vielen Dank für ihre Aufmerksamkeit!
Pol Zeimet | CAS Software AG
Fragen?
ANHANG
Pol Zeimet | CAS Software AG
Vorgehensweise
Datenaufbereitung - Beispiele
Pol Zeimet | CAS Software AG
Zeitstempel
Zeitstempel
Intervall Auflistungen
Freitext
Eingaben
Stetige
Werte
Kategorische Features
Und Bitvektoren
Feature Engineering
Am Beispiel Zeitstempel
Reguläre Ausdrücke
und Binning
Vorgehensweise
Datenaufbereitung - Beispiele
Pol Zeimet | CAS Software AG
Aggregierung
Datenobjekt
1
Finales
Datenobjekt
Datenobjekt
2
Aggregierung Dummy Variablen
Datenpunkt Feature X
1 A
2 B
3 C
4 D
Dummy Variablen
Datenpunkt X_A X_B X_C
1 1 0 0
2 0 1 0
3 0 0 1
4 0 0 0
Das Ergebnis
Performance des Modells – Mit Testdaten
Pol Zeimet | CAS Software AG
ungewichtet 3:1 Gewichtung für gewonnen:verloren Automatische Gewichtung
0.93318 0.97311 0.96395
AUC: 0.96242
Pol Zeimet | CAS Software AG
Pol Zeimet | CAS Software AG
Pol Zeimet | CAS Software AG
Copyright ©2018 | Alle Rechte vorbehalten.
Auf den Button klicken, das gewünschte Bild aus der Bibliothek wählen und
danach in den Hintergrund legen (→ Format → Ebene nach hinten → In den
Hintergrund)
Pol Zeimet | CAS Software AG
Pol Zeimet | CAS Software AG