Die Zukunft der Optimierung und Personalisierung mit Optimizely

A/B Testing und Mehr

PROGRAMM

1. Warum A/B Testing? !

2. Ideen für Tests finden !

3. Die Zukunft der Optimierung

MARIUS KREMEYER

Senior Account Executive

[email protected]

Dan Pete

2006: Dan Siroker und Pete Koomen— Product Manager bei Google

2008: Dan — Obama Campaign

2008 - 2010: Carrotsticks, Spreadly, und Y Combinator.

2010: Gründung von Optimizely

2012 (Okt.): 100,000th Experiment, over 1 Billion pages. #1 Website Optimization Platform

2013: $28M für Internationalisierung

100K

$28M

Unsere Geschichte

9000 Glückliche Kunden

$57M 2014: $57M für weitere Expansion

1. Warum A/B Testing?

92:192$ werden für Trafficakquise ausgegeben, nur 1$ für die Optimierung

* IBM TeaLeaf, 2012

1994Seit wann testet Amazon seine Webseite?

10 - 20Quelle: http://meta.wikimedia.org/wiki/Fundraising_2012/report

Wie viele A/B Tests macht Wikipedia pro Tag?

RICHARD FEYNMAN

“During the Middle Ages there were all kinds of crazy ideas, such as that a piece of rhinoceros horn would increase potency. Then a method was discovered for separating ideas […] And it developed very well, so that we are now in a scientific age.”

RICHARD FEYNMAN

“But even today I meet lots of people who sooner or later get me into a conversation about UFOs, or astrology, […] and so forth. !

And I’ve concluded that it’s not a scientific world.”

JOHN OHRINGER - CEO SHUTTERSTOCK

“Nothing goes live on Shutterstock without Testing.” !

JEFF BEZOS - CEO AMAZON

“Experiments are by their very nature prone to failure. But a few big successes compensate for dozens and

dozens of things that didn’t work.” !

ALLES HINTERFRAGEN!

BEISPIEL 1: CHROME INDUSTRIES!

!

!

Performen Bilder oder Videos auf Kategorieseiten besser?

+ 0,2% Conversions

Obwohl Chrome Industries 0,2% Uplift erzielte, so war dies allerdings zu wenig, um eine Investition in Videos für jede Kategorieseite zu

rechtfertigen. Videos sind um einiges teurer als Produktbilder. A/B Tests halfen dem Team von Chrome Industries dabei Geld zu sparen.

!

ERGEBNIS

BEISPIEL 2: SIM CITY!

!

!

Wie erhöhen wir die Anzahl der Vorbestellungen für das Spiel Sim City?

+ 43% Conversions

Electronic Arts fand durch einen A/B Test heraus, dass Besucher, die das Spiel Sim City vorbestellen wollten, nicht durch einen 20$ Discount auf den nächsten Einkauf motiviert wurden. Alles was sie wollten, war

das Spiel so schnell wie möglich zu haben. Daher funktionierte die Variante ohne Banner so viel besser als das Original.

!

ERGEBNIS

BEISPIEL 3: MAGINE!

!

!

Wie können wir die Anzahl der Abonnenten erhöhen?

- 2% Klicks

+ 9% Abonnenten

Magine fand durch diesen Test heraus, dass die Variante mit mehr Infos über die nächsten Schritte zwar weniger Klicks, dafür aber mehr

Abonnenten erzielte. Besucher waren sich besser bewusst, was sie erwarten würde und dadurch entschieden sich mehr, den

Anmeldeprozess abzuschließen. !

ERGEBNIS

BEISPIEL 4: HOME24!

!

!

Wie können wir die Nutzung der Suche und somit Bestellungen steigern?

+ 9% Suchnutzung+ 5% Bestellungen pro Session

Home24 fand durch diesen Test von 3 Varianten des Headers heraus, dass eine gestraffte Variante mit hellen Farben zu gesteigerter Nutzung der Suche führte. Dies hatte außerdem einen Uplift an Bestellungen pro

Session zur Folge. !

ERGEBNIS

2. Ideen für Tests finden

OPTIMIERUNGSZYKLUS

Ergebnisse!

Analyse!

Hypothesen!

Priorisierung!

A/B Test!

ABER WO FANGE ICH AN?

ANALYTICS

ANALYTICS

Visits

Sign-Ups $ per!Recipient

Visitors!per Day

Email $$

ANALYTICS

Visits

Sign-Ups $ per!Recipient

Visitors!per Day

Email $$

TICKETS / FRAGEN

NUTZER TESTS / USER-TESTS

HEATMAPS / EYETRACKING

Quelle: ClickTale, Eyequant

WETTBEWERBERANALYSE

1. Welche Webseiten nutzen Sie gerne? !

2. Was sind Ihre direkten Wettbewerber? !

3. Was funktioniert in anderen Branchen / Kategorien besonders gut?

3. Die Zukunft der Optimierung

MOBILE EATS THE WORLD

Quelle: ComScore

SCHLECHTE MOBILE-ERFAHRUNGEN

Quelle: Smashingmagazine, 2013

It’s about people, not devices

Optimizely ist für A/B Testing von Webseiten…

!

…UND AUCH FÜR:• Personalisierungskampagnen

• Segmentierung von Besuchergruppen

• Agile Entwicklung & Deployments

• Optimierung mobiler Webseiten

• Optimierung von Apps in iOS & Android

• Cross-Channel Optimierung

!

PERSONALISIERUNG MIT COOKIES

HYPOTHESE

Wenn: Wir Personen, die sich noch kein Konto erstellt haben, jeweils eine Person des anderen Geschlechts zeigen Dann:!! Erhöhen wir die Anzahl der Anmeldungen Weil:! ! Nutzer fühlen sich persönlich angesprochen.

ORIGINAL!!

VARIANTE IN OPTIMIZELY ANLEGEN!!

AUDIENCE IN OPTIMIZELY ANLEGEN!!

PERSONALISIERUNG MIT GEO-LOCATION

Wenn: Wir die Ansprache auf die Stadt beziehen

Dann:! Werden mehr Besucher einen Termin bei der Parfümerie in ihrer Nähe buchen

Weil: Nutzer sich persönlich angesprochen fühlen

HYPOTHESE

ORIGINAL!!

AUDIENCE ANLEGEN - LOCATION!!

VARIANTE - STADTSPEZIFISCH!!

Vs.

VERGLEICH - ORIGINAL & VARIANTE B!!

OPTIMIERUNG MOBILER WEBSEITEN

Wenn: Shop Besucher Social Log-In beim Check-Out nutzen können

Dann: Werden mehr Besucher den Kauf abschließen

Weil:! Nutzer Bequemlichkeit schätzen und keinen zusätzlichen Account anlegen müssen

HYPOTHESE

- Log-in Wall !

- Kein “Social Log-in”

AUF DEM DESKTOP

- - Keine Log-in Wall !

- - “Social Log-in” möglich

TESTIDEE

!

1. Shoppen ohne Registrierung erlauben 2. Einloggen mit Facebook ermöglichen 3. Warum sollte ich mich registrieren?

Welcher Check-Out wird besser konvertieren?

OPTIMIERUNG MOBILER APPS

BEISPIEL: FRENCH GIRLS

1 Million Downloads Problem: User Retention Ziel: Onboarding optimieren

AKTIVIERUNG NEUER USER

Aktivierung bei French Girls: !

Selfie aufnehmen!Selfie zeichnen!!

Activation Rate: 25%

+ 100% Uplift in Nutzeraktivierung

CROSS-CHANNEL OPTIMIERUNG

STEFAN KAUFT SCHUHE

• Shoppt in der Zalando App im Zug auf dem Weg nach hause, wird dabei aber unterbrochen

• Sitzt auf dem Sofa und sieht einen Zalando Spot, googelt Zalando auf dem Smartphone

• Verlässt das Sofa und schließt den Einkauf auf dem Desktop ab

TANJA BUCHT EINEN FLUG

• Kriegt eine Einladung zum Geburtstag auf der Facebook App – wechselt in die Lufthansa App und schaut wie teuer ein Flug ist

• Zu hause angekommen, vergleicht Preise auf anderen Webseiten und bucht dann direkt auf der Lufthansa Desktop Webseite

• Erhält Erinnerung für Check-Inn als Push Notification 24 Stunden vor Flug

SZENARIO

• Kunde loggt sich bei mir ein, z.B. via Social Log-In • Analytics- und Optimierungsplattform nutzt Universal User ID für

Cross-Channel Tracking (aber ohne die Identität des Nutzers zu verraten)

WIE FUNKTIONIERT DAS GENAU?• Customer loggt sich via Facebook ein. • Tracking Call zur Analytics- und Optimierungsplattform: !

!

• Erstellen Sie Cross-channel Reports - Wann und wie wechseln User Kanäle?

• Halten Sie die Erfahrungen über verschiedene Kanäle konsistent. Fahren Sie A/B Tests in Apps und für Webseiten für denselben User

• Learnings nutzen, um neue Features zu bauen

BEISPIEL: HIPMUNK

Letzte Suche als Default, wenn man Endgerät wechselt

BEISPIEL: GILT

Abbruchrate durch Push-Notifications senken

Data

Sie Ihre Besucher

Action

LEARNINGS

1. A/B Testing - Alles Hinterfragen! !

2. Mit Sinn und Verstand Testen !

3. A/B Testing für Web ist gut, aber nicht alles!

Vielen [email protected]

@OPTIMIZELY