как математика позволяет зарабатывать деньги

Михаил Левин Заместитель руководителя разработки рекламной системы Яндекса

Реклама на поиске

2

Реклама над результатами поиска

3

Справа

4

И под результатами поиска

5

• Показы? CPM (Cost-per-mille)

• Конверсии? CPA (Cost-per-action)

• Клики! PPC (Pay-per-click)

За что нам платят рекламодатели?

Показы Конверсии Клики

6

• В соответствии с запросом пользователя • Пример: «пластиковые окна в ростове» • Ключевые фразы

–  окна –  пластиковое окно –  пластиковые окна –ростов –  окна –пластиковые –  деревянные окна

• Формируем список кандидатов

Как отбирать рекламу?

7

• Одно рекламное место

• Объявление №1: 1000 показов, 100 кликов • Объявление №2: 500 показов, 100 кликов • Объявление №3: 10000 показов, 300 кликов

• Вероятности клика: 10%, 20%, 3%

Что лучше показать?

8

• В соответствии с запросом пользователя • Пример: «пластиковые окна в ростове» • Ключевые фразы

–  окна –  пластиковое окно –  пластиковые окна –ростов –  окна –пластиковые –  деревянные окна

• Формируем список кандидатов • Ставки!

Как отбирать рекламу?

9

• Одно рекламное место

• №1: 1000 показов, 100 кликов –  Ставка $0.3

• №2: 500 показов, 100 кликов –  Ставка $0.1

• №3: 10000 показов, 300 кликов –  Ставка $2

• Вероятности клика: 10%, 20%, 3% • CPM = денег с 1000 показов: $30, $20, $60

Что лучше показать?

10

• Аукцион: кто больше? • Аукцион 1-й цены: плати свою ставку • Плохо: все «врут», постоянная торговля • Аукцион 2-й цены: плати ставку следующего • Выгодно «говорить правду»

Сколько списать?

11

• Ценность клика v (value-per-click) • Ставка b, наибольшая из остальных b’ • Цена клика c < b • Вероятность клика p • Прибыль с одного показа s = p(v – c) • Выгодно ставить b = v! • b < v - невыгодно

–  b’ > v → p = 0, s = 0 в любом случае –  b’ < b → с = b’, s = p(v – c) и при b = v –  b < b’ < v → s = 0, но при b = v было бы s = p(v – b’)

• Аналогично, b > v - невыгодно

Аукцион второй цены

12

• Что если рекламных мест несколько? • Чем выше, тем больше кликов • Списываемая цена = минимальная ставка, при которой остаемся на той же позиции

Обобщенный аукцион второй цены

13

• Мировой рынок $25 000 000 000 в 2013

• Выручка Яндекса в 2013 > $1 000 000 000

• Типичное улучшение на 2% - $20M в год

Поисковая реклама

14

• Теория игр, теория аукционов • Машинное обучение • Моделирование, симуляции • Эксперименты на пользователях • Статистика, эконометрика • Распределенные вычисления • Big Data – MapReduce и др.

Что используется

15

• CTR (click-through rate) ≔ P(click) = ? • P(click) = Clicks / Shows • Зависит от запроса Q • P(click) = Clicks(Q, Ad) / Shows(Q, Ad) • Слишком много уникальных запросов L • Фраза P – почти то же, что запрос Q • Фраз ограниченное число • P(click) = Clicks(P, Ad) / Shows(P, Ad)

Вероятность клика или CTR

16

«Жирные» слова в заголовке

17

• P(click) = Clicks(P, Ad) / Shows(P, Ad) • За какой период брать статистику? • А если запрос все-таки влияет?

–  Ключевая фраза iphone, продают последнюю модель –  iphone 3GS, iphone 5, iphone 6, iphone наушники – разный CTR

• Объявление отвечает на запрос? • Есть доставка в регион пользователя? • Смотрит с компьютера или с телефона?

Вероятность клика

18

• Как использовать всю информацию? • Сотни миллионов строк логов • В каждой строке сотни признаков • Машинное обучение

Вероятность клика

Clicks   Shows   Region   Text  Relevance   …   Click?   P(click)  

10   100   Москва   0.586   …   0   0.11  

1   200   Ростов   0.253   …   0   0.003  

…   …   …   …   …   …   …  

0   1   СПб   0.85   1   0.12  

19

• Оценки асессоров • Общие слова запроса и объявления • Статистика по объявлению, домену • Можно убрать 20% лишних показов и не потерять кликов!

Релевантность

20

• Пользователи читают сверху вниз • Первая позиция гораздо лучше второй • Прогнозируем CTR по статистике • Завышаем прогноз объявлению с 1-й позиции

• Можем вообще не показать лучшее объявление!

Позиционный эффект

21

• Две рекламных позиции • Первая позиция на 30% более кликабельна • CPM1=$10, всегда на 1-й позиции • CPM2=$9, 50% на 1-й, 50% на второй • CPM3=$8, всегда на 2-й позиции • 3-е объявление лучше всех:

–  CPM1(Pos1) = CPM1 = $10 –  CPM2(Pos1) = 0.5 * CPM2 + 0.5 * CPM2 * 1.3 = $10.35 –  CPM3(Pos1) = CPM2 * 1.3 = $10.4

• Но оно не покажется L

Позиционный эффект: пример

22

• Разные веса событиям в «обучающем логе» • Клик на второй позиции важнее • Раздельная статистика по позициям • «Многорукий бандит» • Модели поведения пользователя

Позиционный эффект: лечим

23

• Две формулы: старая и новая • Берем запросы из прошлого • Берем всю базу с объявлениями • Симулируем аукцион с обеими формулами • Смотрим, где больше кликов, денег • Откуда взять клики? • Генерируем клики новой формулой

Как узнать, стало ли лучше?

24

• Запустим и посмотрим на клики, деньги • А что если погода плохая? • Эксперимент: на 2% пользователей новая формулу, на остальном - старая

• Сравним клики, деньги в среднем на 1% пользователей

• Как долго ждать? • Оценим статистическую значимость • A/B-тестирование

Как на деле узнать, стало ли лучше?

25

• Не до всех фраз можно догадаться • Но мы-то все знаем! • Найдем похожие фразы у других и добавим • Сейчас все ищут фразы под запросы • А у нас найдется все • Проиндексируем объявления • Найдем все, релевантные запросу

Поможем рекламодателям

26

Вопросы?

Михаил Левин

Зам. руководителя разработки рекламной системы Яндекса

[email protected]

Спасибо