Professioneller Testing-Prozess Silvia Grabler, e-dialog Google Analytics Konferenz 2016 Wien, 23. Februar 2016
Jan 22, 2018
Professioneller Testing-Prozess
Silvia Grabler, e-dialogGoogle Analytics Konferenz 2016
Wien, 23. Februar 2016
Seite 2
Silvia Grabler
Consultant & Teamleitung
Conversion-Optimierung & E-Mail Marketing
A/B- & multivariates Testing
Landingpage Erstellung
Remote Usability Tests
E-Mail Marketing Konzeption & Umsetzung
von der Tool-Evaluierung bis zum
Newsletter-Versand
Seite 3
Worum geht‘s?
Variante A - Vertikal: Variante B - Horizontal:
2 oder mehr Varianten werden auf Basis einer Testhypothese
gegeneinander getestet.
Seite 4
Warum Conversion-Optimierung?
Erfolgsrate OnSite (auch ohne Relaunch) steigern
Vorhandenen Traffic effizient nutzen
Hypothesen verifizieren/falsifizieren
Prüfung welche Elemente die Conversions steigern
ALLEINE der User entscheidet über den Website-Erfolg
Daten werden anhand echtem Userverhalten erhoben
Echte Situationsumgebung
Seite 6
Welche Business Ziele sollen optimiert werden?
Optimierungsbereiche
E-Commerce Optimierung
Engagement Optimierung
Lead-Generierung Optimierung
Self-Service Optimierung
Optimierung von Confirmation Pages
Mögliche Ziele
• Steigerung der Kauf-Rate
• Umsatzsteigerung
• Nutzung der Social Media Funktionen
• Click-through,…
• Steigerung der Newsletter Abonnenten
• Steigerung der Kontakt-Anfragen,…
• Erhöhung der Nutzung von zB FAQs,…
• Social Engagement
• Weitere Aktionen durchführen,….
1. Ziele definieren 2. Ziele priorisieren 3. User Journey festhalten
Seite 7
Richtige Ziele definieren
Unterschiedliche Ziele Unterschiedliche Ergebnisse
Das Macro Ziel ist die entscheidende Messgröße.
Seite 8
Können meine Tests eine angemessene Testdauer erreichen? http://www.convert.com/tools/ab-split-multivariate-test-duration-visitor-calculator/
Testdauer hängt ab von:
• Anzahl an Conversions
• Anzahl an Varianten
• Höhe der Conversion-Veränderung zwischen Control und Variante
Seite 10
Quantitativ & Qualitativ
Webanalyse
Mouse-/Klick-/Eye-Tracking Heatmap
Umfragen
Usability Tests (Remote, User Lab)
Feedback aus Kundengesprächen (zB. Call-Center, Verkauf,…)
1. Daten sammeln
2. Daten analysieren
3. Optimierungsbereiche aufdecken
4. Testhypothesen generieren
…
Mehr Analysen liefern mehr Erkenntnisse.
Funnel-Analyse
Content-Analyse
Verhaltensfluss AnalysenUmfragenTraffic Analyse
Heatmaps
Seite 11
Ergänzende und alternative Analyse Methode
Remote Usability Test als
qualitative Analyse Methode:
Verstehen WARUM der User
eine bestimmte Aktion nicht
ausführt.
• Methodik zur Generierung weiterer Testhypothesen
• Alternative für Sites mit zu wenig Conversions
Seite 12
Roadmap erstellen & pflegen
Analyse
Testhypothese und Ziele
definieren
Potential
einschätzen
Status,
Rahmen-
bedingungen,
Outcome
festhalten
Seite 13
Testablauf
Konzeption
ZieleStrategieRoadmap
AnalyseDaten
Warum?
Was?
Wie?
Wo?
Wann?
Wer?
Techn. Requirements?
Seite 14
Generierung von Testhypothesen
Eine Darstellung nebeneinander führt zu einer besseren Sichtbarkeit beider Angebot bietet eine bessere Vergleichsmöglichkeit beider Angebote für den User. Das bietet dem User eine bessere Orientierung und führt daher zu einer erhöhten Kauf-Rate.
Test-Hypothese:
Eine Darstellung des Angebotes untereinander folgt dem natürlichen Lesefluss (links nach rechts, nächste Zeile) und verschafft dem User eine besseren Überblick über das Angebot. Dies führt zu einer erhöhten Kauf-Rate.
Test-Hypothese:
Variante A - Vertikal: Variante B - Horizontal:
Test-Hypothesen geben folgende Auskunft:
1. Was
2. führt warum
3. zu welchem Ziel.
Seite 15
Testing Blindness
B war besser.
Warum?
Immer nur 1 Element in 1 Variante testen!
Jetzt buchen! Heute buchen!vs.
Variante A Variante B
Seite 18
Wie funktioniert‘s?Test-Seite
Testvariante - B
Testing-Tool Code Snippet
Variante A - Vertikal:
Einmaliger Einbau des Basis-Codes. Kein CMS nötig.Bei komplexen Tests ggf. individuelle Code-Erweiterung erforderlich.
Von Tool zu Tool anders -
bei zB. VWO & Optimizely so:
• Zufall welche Variante User sieht
• Lädt zu ersetzenden Inhalt nach
• Tauscht im Browser des Users die
Testelemente aus (in Millisekunden)
Seite 19
Testablauf
Konzeption
Setup
ZieleStrategieRoadmap
Analyse
Monitoring
Daten
• Keine Durchführung von Änderungen
auf den getesteten Seiten
• Original-Page und Traffic
(Kampagnen) stabil halten
Seite 20
Dateninterpretation: Signifikanz ≠ valide!
Je weniger Messwerte vorhanden sind, desto ungenauer sind die Ergebnisse.
Seite 23
Warum ist ein Reporting wichtig?
• Überlegungen, Learnings, Schwierigkeiten, etc. nicht im
Tool ersichtlich sind
• In-house über den Test informiert werden soll
• Oft sind keine Screenshots der Testseite im Tool
gespeichert Bei einer Veränderung der Website
verändert sich die Vorschau mit.
Seite 27
Insights durch Segmentierung generieren
• Nutzer können unterschiedlich auf
Optimierungsmaßnahmen reagieren.
• Neue vs. wiederkehrende Besucher
• Wochentage vs. Wochenenden
• Traffic-Kanäle (Medium, Quelle)
• Region
• Endgeräte: Desktop, Tablet, Mobile
• Warenkorbwert,…
Varianten für bestimmte User-Segmente ausspielen > Personalisierung
Seite 28
Testablauf
Konzeption
Setup
ZieleStrategieRoadmap
Analyse
MonitoringAuswertung
Daten
Fortlaufender Prozess zur Steigerung der Performance.
Seite 29
Der Start ins Testing…- je nach Unternehmenskultur anders -
• Laufender Austausch mit Projektteam & Stakeholdern
• Laufende Analysen• Roadmap-Pflege• Laufendes Testing
• Analysen durchführen• Testhypothesen sammeln
& priorisieren
Ziel(e)Stakeholder
ins Boot holenAnalyse
& RoadmapTestingprozess
startenOptimierungs-
prozess festlegen
• Analyse ob Testing• Ziele definieren & priorisieren• User Flow festhalten
• Wozu Conversion-Optimierung• Inputs anderer Abteilungen einholen• Kommunikation für Abstimmungen
& Austausch festlegen• Umgang mit Einschränkungen &
Zielkonflikten
• Projektteam definieren• Verantwortlichkeiten definieren• Stakeholder ermitteln• Einschränkungen ermitteln• Testing Tool anhand definierter
Kriterien auswählen
• Analysen• Konzeption• Setup• Monitoring• Reporting &
Interpretation
Leben!