PROGRAMM
1. Warum A/B Testing?
2. 5 Praktische Beispiele
3. Ideen für Tests finden
4. Die Zukunft der Optimierung
MARIUS KREMEYER
Senior Account Executive
Psychologe
Dan Pete
2006: Dan Siroker und Pete Koomen— Product Manager bei Google
2008: Dan — Obama Campaign
2008 - 2010: Carrotsticks, Spreadly, und Y Combinator.
2010: Gründung von Optimizely
2012 (Okt.): 100,000th Experiment, over 1 Billion pages. #1 Website Optimization Platform
2013: $28M für Internationalisierung
100K
$28M
Unsere Geschichte
9000 Glückliche Kunden
$57M 2014: $57M für weitere Expansion
10 - 20Quelle: Wikimedia.org
Wie viele A/B Tests macht Wikipedia pro Tag?
RICHARD FEYNMAN
“During the Middle Ages there were all kinds of crazy ideas, such as that a piece of rhinoceros horn would increase potency. Then a method was discovered for separating ideas […] And it developed very well, so that we are now in a scientific age.”
RICHARD FEYNMAN
“But even today I meet lots of people who sooner or later get me into a conversation about UFOs, or astrology, […] and so forth.
And I’ve concluded that it’s not a scientific world.”
“Experiments are by their very nature prone to failure. But a few big successes compensate for dozens and
dozens of things that didn’t work.”
HYPOTHESE
Wenn: Wir statt Bildern Videos auf die Produktseiten setzen Dann: Steigen die Bestellungen Weil: Wir uns durch die Bilder emotionaler angesprochen fühlen.
0,2% Uplift in Sales
Videoproduktion teuer
—> Videos nicht rentabel
Große Ersparnis durch die Verwendung von Bildern
LEARNING
HYPOTHESE
Wenn: Wir den Rabattbanner entfernen Dann: Steigen die Vorbestellungen Weil: Die Besucher “nur” an dem neuen Spiel interessiert sind und nicht an Rabatten für Folgekäufe.
HYPOTHESE
Wenn: Wir eine Grafik zum Anmeldeprozess auf der Landing Page einsetzen Dann: Steigen die Anmeldungen Weil: Die Besucher genau wissen, welche Schritte auf Sie zukommen werden
Weniger Micro Conversions (Klicks)
Mehr Macro Conversions (Anmeldungen)
Da Nutzer wissen, worauf sie sich einlassen.
LEARNING
HYPOTHESE
Wenn: Wir die Box für Social Shares besser* darstellen Dann: Steigen die Fans auf Facebook und wiederkehrender Traffic Weil: Die Besucher eine andere Darstellung der Box weniger aufdringlich finden
WETTBEWERBERANALYSE
1. Welche Webseiten nutzen Sie gerne?
2. Wer sind Ihre direkten Wettbewerber?
3. Was funktioniert in anderen Branchen / Kategorien besonders gut?
…UND AUCH FÜR:
• Personalisierungskampagnen
• Segmentierung von Besuchergruppen
• Agile Entwicklung & Deployments
• Optimierung mobiler Webseiten
• Optimierung von Apps in iOS & Android
• Cross-Channel Optimierung
HYPOTHESE (DATING)
Wenn: Wir Personen, die sich noch kein Konto erstellt haben, jeweils eine Person des anderen Geschlechts zeigen
Dann: Erhöhen wir die Anzahl der Anmeldungen
Weil: Nutzer sich persönlich angesprochen fühlen.
Wenn: Wir die Ansprache auf die Stadt beziehen
Dann: Werden mehr Besucher einen Termin bei der Parfümerie in ihrer Nähe buchen
Weil: Nutzer sich persönlich angesprochen fühlen
HYPOTHESE
Wenn: Shop Besucher Social Log-In beim Check-Out nutzen können
Dann: Werden mehr Besucher den Kauf abschließen
Weil: Nutzer Bequemlichkeit schätzen und keinen zusätzlichen Account anlegen müssen
HYPOTHESE
TESTIDEE
1. Shoppen ohne Registrierung erlauben 2. Einloggen mit Facebook ermöglichen 3. Warum sollte ich mich registrieren?
AKTIVIERUNG NEUER USER
Aktivierung bei French Girls:
Selfie aufnehmenSelfie zeichnen
Activation Rate: 25%
Wenn: Wir die Reihenfolge der Aktivitäten im Onboarding ändern
Dann: Steigern wir die Anzahl aktivierter User
Weil: User eher Aktionen ausführen, die sie wenig Aufwand kosten und bekannt sind (Selfie aufnehmen)
HYPOTHESE
STEFAN KAUFT SCHUHE
• Shoppt in der Zalando App im Zug auf dem Weg nach hause, wird dabei aber unterbrochen
• Sitzt auf dem Sofa und sieht einen Zalando Spot, googelt Zalando auf dem Smartphone
• Verlässt das Sofa und schließt den Einkauf auf dem Desktop ab
TANJA BUCHT EINEN FLUG
• Kriegt eine Einladung zum Geburtstag auf der Facebook App – wechselt in die Lufthansa App und schaut wie teuer ein Flug ist
• Zu hause angekommen, vergleicht Preise auf anderen Webseiten und bucht dann direkt auf der Lufthansa Desktop Webseite
• Erhält Erinnerung für Check-In als Push Notification 24 Stunden vor Flug
LEARNINGS
1. A/B Testing - Alles Hinterfragen!
2. Mit Sinn und Verstand Testen
3. A/B Testing geht über Desktop hinaus