23apr.rif2010 -horujenko

Как понять пользователей (и возможно ли)?

Обзор доклада

1. Зачем изучать поведение пользователей?2. Как оценивать поведение пользователей?3. Тестируем изменения в поиске:

– ранжирование– интерфейсы– аннотации к результатам поиска

2

Зачем изучать поведение пользователей?

Хотим узнать, как пользователи реагируют на изменения.

Факторы влияния:1. технические характеристики поиска 2. релевантность, качество результатов поиска3. релевантность, качество контекстной рекламы4. аннотации к результатам поиска5. интерфейсы 6. геомагнитные бури…

3

4

Чем мы меряемся?

Метрики – статистические коэффициенты на основе логов действий пользователей:

1.Клики: c0,c1,acp,p1c,click-entropy2.Время: t1l, tmr, oldtime3.Глубина поиска: c1t1, kpg4.Объем поисковых сессий

5

Сплит-тесты (a.k.a A/B-тесты)

6

Проверяем новое ранжирование

Улучшение ранжирования видно:

1. Первого результата становится достаточно

2. Клики «выше» в результатах поиска

3. На найденных сайтах дольше «сидят»

4. Меньше отказных кликов

5. Поиском пользуются чаще

6. Приходят новые пользователи

7

Проверяем новое ранжирование

Клики по первому результату

8

Средняя позиция кликов

Проверяем новое ранжирование

9

«Отказные» клики

Проверяем новое ранжирование

10

Среднее время на найденных сайтах

Проверяем новое ранжирование

11

Рост поисковых сессий

Проверяем новое ранжирование

«Шеф, усё пропало!»

12

Проверяем новое ранжирование

Хорошие показатели не привели к повышению частоты обращений.

13

Проверяем новое ранжирование

Причины:

1. Много факторов: интерфейсы, аннотации, скорость, реклама.

2. Изменения в пределах погрешности.

3. Выборка по IP: текучка пользователей между сплитами.

14

А что с рекламой?

Улучшенное ранжирование «перетягивает одеяло» с рекламы.

15

Введите слово для поиска

Тестируем пользовательский интерфейс

16

Тестируем 10 результатов вместо 15

1. Что произойдет, если уменьшить количество результатов на странице?

2. Хорошо ли это?

17

День выкатки

Тестируем 10 результатов вместо 15

Клики стали «выше»--Ваш К.О.

18

Тестируем 10 результатов вместо 15

Время до первого клика уменьшилось--Ваш К.О.

День выкатки

19

Тестируем 10 результатов вместо 15

При этом почти не изменились:1.Количество сессий на пользователя

2.Количество cookie и количество сессий в день

Выводы?1.Очевидные последствия.

2.Однозначного ответа нет.

3.Нужно больше экспериментов.

20

Введите слово для поиска

Тестируем аннотации в сниппетах

21

Тестируем аннотации в сниппетах

«Мама мыла Раму»

Что меняем в алгоритме:

1. Делаем выбор в пользу одного «цельного

предложения», а не в пользу «кусочного».

2. Не меняем среднюю длину.

3. Выбираем информативные предложения.

22

Было

Стало

Тестируем аннотации в сниппетах

Как среагировали пользователи?

23

Тестируем аннотации в сниппетах

Возросла средняя позиция кликов – пользователи стали кликать «глубже».

Запустили

Поломали

Починили

24

Тестируем аннотации в сниппетах

Увеличилось время до первого клика – пользователи стали больше и дольше читать.

Поломали

Починили

Запустили

25

Тестируем аннотации в сниппетах

Запросы без кликов уменьшились

Поломали

Починили

Запустили

26

Тестируем аннотации в сниппетах

Среднее количество поисковых сессий

Поломали

ПочинилиЗапустили

27

Тестируем аннотации в сниппетах

Вывод:

Некоторые изменения требуют экспертной

оценки. Нужно найти запросы и те результаты,

у которых сместились клики и оценить это

смещение.

28

Введите слово для поиска

Вывод:

1. Мы не всегда знаем, что в итоге увидим.

2. А то, что видим, не всегда понимаем

3. Много факторов и они взаимосвязаны.

29

Введите слово для поиска

Спасибо! Вопросы?Хоруженко Марина