Управление бизнесом на основе данных Константин Савенков, CEO Intento, Inc.
Управление бизнесом на основе данных
Константин Савенков, CEO Intento, Inc.
Константин Савенковк.ф-м.н. (ВМК МГУ), 3 года директор по науке в Zvooq, 2 года операционный директор Bookmate и других проектов Dream Industries
сейчас - CEO
Настраивал работу с данными в проектах
• контентные сервисы B2C/B2B2C
• образовательные проекты
• рекламные проекты• недвижимость
• в режиме консалтинга - online2offline, UGC, биотехнологии
Zvooq, Bookmate
Theory&Practice, Exchanges
Unisound
DI Telegraph
Константин Савенков, 2016
Без данных, люди принимают решения на основе
веры и предрассудков
Константин Савенков, 2016
…решения на основе данных - конкурентное
преимуществоКонстантин Савенков, 2016
Следя за конкурентами, вы идете за ними.
Фокус на клиенте - возможность
идти впереди них.(с) Джефф Безос
Константин Савенков, 2016
…данные помогают сфокусироваться
на клиентеКонстантин Савенков, 2016
Информация - это топливо 21 века, а
его мотор - аналитика.
(с) Питер СондегаардКонстантин Савенков, 2016
… следите за качеством топлива и проходите ТО
Константин Савенков, 2016
Половина денег, которые идут на рекламу, выбрасывается
впустую; но как узнать какая именно
половина?
(с) Уильям ЛеверКонстантин Савенков, 2016
…собирать данные и считать ROI
Константин Савенков, 2016
Средняя по США конверсия в покупку - 2%, вне зависимости от того, что продается - слоны или айфоны
(с) Авинаш КошикКонстантин Савенков, 2016
…данные позволяют быть лучше среднего
Константин Савенков, 2016
План• Уровни использования данных
• Эволюция data driven компании
• Определение целей и KPI
• Измерение эффекта всех инициатив в компании
• Формирование гипотез и постановка экспериментов
• Лидирующие и опережающие индикаторы, прогнозирующие модели
• Автоматизация ручного труда
• Управление изменениями компании
• Данные как актив
Константин Савенков, 2016
МастерствоТрансформация бизнеса
Включение в бизнесМонетизация данных
Принятие решенийОптимизация бизнеса
АналитикаСекреты бизнеса
Уровни использования данных
Сбор данныхМониторинг бизнеса
Константин Савенков, 2016
Константин Савенков, 2016
Для управления бизнесом на основе
данных мало собирать и обрабатывать данные. Нужна культура.
Константин Савенков, 2016
Не оптимизация для улучшения данных! Оптимизация для
обучения!
Константин Савенков, 2016
Все инициативы должны улучшать KPI
Формулируйте гипотезы
Ставьте эксперименты
Данные - проверяют гипотезы в основе ваших решений.
Данные не решают!
Константин Савенков, 2016
Данные
КультураЛюди
ПроцессыТехнологии
Аналитика Бизнес-модель
ПланированиеИтерации
Измерения
Гипотезы
Эксперименты
Изменения
Константин Савенков, 2016
IОпределение целей
и KPI
Константин Савенков, 2016
Вроде все просто
MRR МаржаMAU
но есть нюансы
Константин Савенков, 2016
НЕПОНЯТНОкто отвечает?
как улучшить?
как связано с затратами ресурсов?
(кроме СЕО)
(кроме “работать лучше”)
(когда большая часть бизнес-процессов автоматизирована)
Константин Савенков, 2016
Деревья KPI
MAU
Новые Лояльные Вернувшиеся
Трафик Конверсия Удержание Возврат
Константин Савенков, 2016
Деревья KPIMRR
MRR лояльных
MRR новых нетто
потери MRR
MRR апгрейды
MRR даунгрейды
Новые клиенты
изменение MRR
новый MRR
Ре- активация
прямые продажи
Константин Савенков, 2016
Деревья KPI
Маржа
LTVCAC
COGSARPU
время жизни
Комиссии
Константин Савенков, 2016
ДЛЯ ПРОДВИНУТЫХ
Анализ соотношений
Когортный анализ
Константин Савенков, 2016
ПОМОГАЕТ С:Узкие места
Роли и зоны ответственности
Генерация идей
Эффект от инициативКонстантин Савенков, 2016
IIИзмерение эффекта
инициатив
Константин Савенков, 2016
Планирование блоками задач, оказывающими эффект
Отслеживание результатов запущенных проектов
Культура данных успеха
обученияКонстантин Савенков, 2016
КейсБыло принято вести маркетинговые проекты до запуска
Отслеживание хода полугодовой кросс-промо кампании показало существенный убыток через COGS.
Удалось понять, какие механики к нему привели.
Поменяли механики промо-кампаний, передоговорились с партнерами по нескольким запущенным позднее.
ПРОФИТКонстантин Савенков, 2016
IIIГипотезы и
эксперименты
Константин Савенков, 2016
На самом деле, так не работает
маркетинговая кампания
Константин Савенков, 2016
На самом деле, так не работает
маркетинговая кампания
запустили фичу в продукте
перебои с биллингом
школьники пришли с каникул
фичеринг в аппсторе
народ вернулся с отпусков
Константин Савенков, 2016
На самом деле, так не работает
маркетинговая кампания
запустили фичу в продукте
перебои с биллингом
школьники пришли с каникул
фичеринг в аппсторе
народ вернулся с отпусков
КОНВЕРСИЯ С РАЗНЫХ КАНАЛОВ ОТЛИЧАЕТСЯ
НА ПОРЯДКИ
Константин Савенков, 2016
А ТАКЖЕ:Множество проектов, которые и не надо было запускать
Культура празднования случайного успеха и объяснения неудач внешними факторами
Невозможность учиться на ошибках
Константин Савенков, 2016
формулировка измеримых гипотез
планирование экспериментов
определение критериев успеха/неудачи до реализации
организация сбора и атрибуции данных, сплит-тестирование, контролируемые
переменные, статистическая значимость
явное выведение рисков использование построенных моделей
помощь в приоритезации
и того, как неудача поможет в формулировке следующих гипотез
возможность проверять несколько гипотез одновременно
Константин Савенков, 2016
КейсыПросчет механик маркетинговых проектов до их запуска.
Изменения в продукте с повышением конверсии в 2,5 раза, времени жизни пользователя - в 2 раза
Сплит тестирование таргетирования и креативов рекламных компаний, с достижением конверсии в 2-3 раза выше органической
Резкое увеличение “конверсии” из всех инициатив в успешные
И все остальные выводы об эффективности тех или иных подходов
множество неудачных экспериментов успех несмотря на все внешние факторы
ИНАЧЕ НИКАККонстантин Савенков, 2016
Кейс: Повышение конверсии• Гипотезы для проверки:
1. Конверсия через рекомендуемые товары выше средней
2. Достаточно много пользователей воспользуется рекомендациями
• Единственный путь - сплит-тестирование:– конверсия из разных каналов трафика отличается до 20 раз
– аккуратно контролировать качество трафика сложнее, чем сделать сплит-тест
• Делаем пилот:– Запуск с ограниченными затратами, затем оценка результатов и решение о масштабировании (масштабирование своей системы, контракт с поставщиком итп)
Из лекции “Экономическая оценка эффективности рекомендательных систем” К.Савенков 2015
Кейс: Повышение конверсии
Группа А Группа Б
3 первые книгиот редакции
3 первые книгиот РС хол. старта
Воспользовалисьрекомендациями
Конверсия в покупку
Общая конверсия
Выглядит неплохо!
Неужели стало на 40% больше клиентов?
На самом деле нет, так как лишь 7%
не знало что почитать
Из лекции “Экономическая оценка эффективности рекомендательных систем” К.Савенков 2015
Оценим экономическую эффективность
• Для оплаты сторонней РС по модели CPO, комиссия за заказ не должна превышать $0.14 (на самом деле, должна быть еще ниже)
• В случае фиксированного платежа за лицензию в размере $1000**/мес, этот вариант имеет смысл начиная с 7143 новых клиентов/мес, или размера маркетингового бюджета от $35K.
* Величины CAC и маркетингового бюджета - модельные** величина взята с потолка
Общая конверсия С%Цена привлечения = $5
Группа А Группа Б
Общая конверсия 1.028*С%Цена привлечения = $4.86
Конверсия выше в 1.4 разадля 7% пользователей
Общая конверсия по всем каналам - С%
Из лекции “Экономическая оценка эффективности рекомендательных систем” К.Савенков 2015
IVОпережающие индикаторы
Константин Савенков, 2016
Планировать работу по результатам месяца или завершенного
проекта - все равно что идти задом наперед
Константин Савенков, 2016
Лучше смотреть вперед или хотя бы под ноги
Заставляем данные работать
Константин Савенков, 2016
Дневные индикаторы
Инкрементальные индикаторы
Опережающие индикаторы
Прогнозирующие модели
узнавайте о проблемах и аномалиях вовремя
пример: baremetrics.io
хороший ввод для маркетинга
точные цели и актуальный финансовый планКонстантин Савенков, 2016
КейсЧасть постоянных подписчиков продукта отваливалась на 2-3 месяца, что объяснялось отпусками и другими факторами.
На дневных индикаторах стало видно, что это люди, подписавшиеся в будни. Загадка!
Оказалось, что в будни происходит частая выкатка нового кода на сервер, из-за чего сбрасывается очередь продления подписок.
Исправив, повысили время жизни пользователя на 20%
Константин Савенков, 2016
КейсПрогнозирование времени жизни пользователей, приходящих в настоящий момент (точность 10%)Точная оценка юнит-экономики
для B2B2C контрактов, контрактов с поставщиками,
определение ценыКонстантин Савенков, 2016
КейсВероятностная модель сегментирования пользователей
Входные данные для маркетинговых цепочек
Константин Савенков, 2016
КейсТочное определение целей:
лояльные
новые
отток
гарантия роста?
неизбежность стагнации!*
*если не повысить цели по KPIКонстантин Савенков, 2016
КейсТочное планирование
Операционная модель
Маркетинговый план-факт
Финансовый план-факт
Маркетинговый бюджет
CAC, конверсии
прогноз органика
условия контрактов
юнит-экономика прогнозы по контрактам прогнозы по выручке
Константин Савенков, 2016
VАвтоматизация бизнес-процессов
Константин Савенков, 2016
Нанять еще одного сотрудника
или построить еще одну модель?
Константин Савенков, 2016
Все бизнес-процессы, линейно масштабируемые по количеству сотрудников:
служба поддержкиредакция
работа с контентоммаркетинг
Константин Савенков, 2016
КейсыКоличество пользователей растет с 1 до 2млн, удваиваем поддержку?
Вводим автоответ на основе базы знаний и использование шаблонов
Количество рынков растет, добавляем редакторов?Пишем алгоритм подбора шорт-листов на
основе поведения пользователейПоток UGC увеличивается на порядок, добавляем контент-менеджеров?
Используем дедупликацию и подсказки на основе собранных данных
Константин Савенков, 2016
VIУправление
изменениями в компании
Константин Савенков, 2016
Операционная аналитика - улучшаем процесс улучшения
KPI (продуктивность)
Константин Савенков, 2016
ИТЕРАЦИЯ
КейсПродуктивность Agile разработки
ожидания:
ДОРОЖНЫЕ КАРТЫ ДИЗАЙН РАЗРАБОТКА ОТК РЕЛИЗ
ПЛАНИРОВАНИЕ
Константин Савенков, 2016
ИТЕРАЦИЯ
КейсПродуктивность Agile разработки
реальность:
ДОРОЖНЫЕ КАРТЫ ДИЗАЙН РАЗРАБОТКА ОТК РЕЛИЗ
ПЛАНИРОВАНИЕ
УВЕЛИЧЕНИЕ ТРУДОЕМКОСТИ
БЭКЛОГ
НОВОЕ
ТЕХ. ДОЛГ
БАГИ
UX
СОФТ OPS
СРОЧНО!
НЕЧЕТКИЙ ДИЗАЙН
НЕЧЕТКОЕ ТЗ
ПОВТОРЫ
Константин Савенков, 2016
КейсПродуктивность Agile разработки
измеряем и ищем узкие места:
ПРОДУКТИВНОСТЬ
Оценка ресурсов на запланированное и завершенное
Трудовые ресурсы
ТОЧНОСТЬ
Оценка ресурсов на запланированное и
завершенное
Реальные ресурсы на запланированное и завершенное
ЗАВЕРШАЕМОСТЬ
Реальные ресурсы на запланированное и завершенное
Ресурсы на запланированные задачи
ПЛАНИРУЕМОСТЬ
Ресурсы на запланированные задачи
Реально использованные ресурсы
УТИЛИЗАЦИЯ
Реально использованные
ресурсы
Трудовые ресурсы
Константин Савенков, 2016
Данные как актив
Константин Савенков, 2016
Кейсы• Сравнение B2B2C сделок через юнит-экономику
• Определение качества трафика партнеров
• Партнерства на основе данных
• Таргетированные рассылки
• Персонализация и рекомендательные системы (следующий слайд)
• Бонус: Поиск причин большого кол-ва отказов в интернет-ритейле
Константин Савенков, 2016
Влияние рекомендательной системы *
*рекомендательная система
Затраты на привлечение
Доход с клиента
Стоимостьпроданного товара
Маркетинговыйбюджет
Новые клиенты
Средний чек
Время жизни клиента
Маржинальность корзины
Конверсия
Удержание
Реактивация
Маржинальность витрины
÷
×
Из лекции “Экономическая оценка эффективности рекомендательных систем” К.Савенков 2015
Инновационный бизнес экспериментирует, а не работает по
рецептамЧтобы быть первым, надо
экспериментировать быстрее конкурентов
Константин Савенков, 2016
НА САМОМ ДЕЛЕ
данные, построенные на них модели и результаты
экспериментов это актив, который
создает и использует инновационный бизнес
Константин Савенков, 2016