Влияние переходов по ссылкам на поисковое ранжирование, Николай Хиврин

Николай Хиврин, CEO & Founder ALTWeb Group

Влияние переходов по ссылкам на поисковое ранжирование

А работают ли ссылки ?!

Эксперимент:

Проверим зависимость позиций в поисковой выдачи от количества ссылок на домен

Возьмем 100 000 запросов с ценой по MegaIndex более 1000 руб. и “wordstat” от 100 до 10 000.

По каждому запросу выберем первые 20 результатов

По каждому домену посчитаем количество уникальных входящих ссылок

Посчитаем среднее количество внешних ссылок на домен на каждой позиции

Яндекс (Москва)

В среднем в первой десятке на 30% больше ссылок, чем во второй

Google (Москва)

1. В среднем в первой десятке на 10% больше ссылок, чем во второй2. Среднее количество ссылок в Google больше, чем в Яндекс

Yandex (Санкт-Петербург)

В среднем в первой десятке на 30% больше ссылок, чем во второй

Google (Санкт-Петербург)

1. В среднем в первой десятке на 16% больше ссылок, чем во второй2. Среднее количество ссылок в Google больше, чем в Яндекс

Тематические срезы:

- высокая волотильность из-за небольшого числа сайтов-конкурентов

Работа “BrowseRank: Letting Web Users Vote for Page Importance” с конференции SIGIR’08, July 20–24, 2008, Singapore

http://research.microsoft.com/pubs/81574/fp032-liu.pdf

Научная работа специалистов из Яндекс “Fresh BrowseRank”, 24.04.2014https://tech.yandex.ru/research/2013/61/

Основная идея – повышение качества поиска за счет быстрого нахождения новых качественных результатов

Подборка материалов по пользовательским факторамhttps://www.megaindex.org/podborka_zapadnyih_statey_po_polzovatelskim_faktoram

Исследование сетевой активности браузеров:

- Яндекс.Браузер

- Firefox с элементами Яндекса

- Google Chrome

Браузеры передают данные по HTTP и HTTPS

Но для передачи активности пользователей используется SSL

Простой захват трафика сниффером (Wireshark и т.п.) ничего не дает

Нужно делать атаку “Man in the middle” с подменой SSL-сертификатов, чтобы расшифровать трафик

Решение – mitmproxy (http://mitmproxy.org/)

Яндекс.Браузер – сервисные запросыGET http://export.yandex.ru/bar/reginfo.xml?lang=ru

<< 200 OK 1.2kB

GET https://storage.ape.yandex.net/get/browser/experiments/browser.proto?osname=win

<< 304 Not Modified 0B

GET http://storage.ape.yandex.net/get/browser/smartback2

<< 304 Not Modified 0B

POST http://api.browser.yandex.ru/uma_proto

<< 200 OK 20B

Множество запросов dashboard (панель)

http://api.browser.yandex.ru/search-samples?lang=ru

http://export.yandex.ru/bar/reginfo.xml?region=&lang=ru&brid=yandex&_rand=201630906

Яндекс.Браузер – подсказки

Каждый символ для получения новых подсказок:

GET http://api.browser.yandex.ru/suggest/get?part=seoconf3.altweb.ru&brandID=yandex&lang=ru

<< 200 OK 76B

Яндекс.Браузер – открытие страниц

При каждом открытии URL делается запрос (если ответ не 204, значит на сайте вирус):

GET https://sba.yandex.net/lookup?pver=3.5&client=api&apikey=015237278f62ec454e4f278b126d663939000000009c568372d994200e&url=http://seoconf2.altweb.ru/

<< 204 No Content 0B

При посещении нового сайта:

GET https://api.browser.yandex.ru/sitelinks/get?domain=seoconf2.altweb.ru&lang=ru

<< 200 OK 2B

Событие клика и реферер передаются (!)

Firefox с элементами Яндекса

Сервисные запросы:

http://soft.export.yandex.ru/status.xml?stat=dayuse&ui=%7BD5A87203-C418-4E71-8BDB-5F3D60EF6DB3%7D&ver=2.13.0&lang=ru&bn=Firefox&bv=32.0.1&os=WINNT&yasoft=vbff&brandID=yandex&clid=1923014&tl=1411073722&fd=2014.09.19

GET http://api.browser.yandex.ru/dashboard/v2/get/?nodes=audit-www.megaindex.ru&brandID=yandex&lang=ru

<< 404 Not Found 33B

POST http://wi2geo.mobile.yandex.net/getlocation

<< 200 OK 369B

Firefox с элементами Яндекса

Подсказки

GET http://api.browser.yandex.ru/suggest/get-elements?brandid=yandex&locale=ru&part=seoconference.altweb.ru << 200 OK 81B

Enter при typein

GET http://clck.yandex.ru/jclck/dtype=stred/pid=0/cid=71477/path=ff-smartbox.11_0.search_to_nav.not_shown.p1/pos=4/user_input=seo-conference.altweb.ru/text=seo-conference.altweb.ru/rnd=1411416462021/times=.193.193/loc_times=.13.13.13/matches=p2t0.q2/ratio=24.24.1/ui=%7BD5A87203-C418-4E71-8BDB-5F3D60EF6DB3%7D/seng=yandex.ru/cpst=0/crtd=0/sstime=5387/idletime=3042/*=

<< 200 Ok 15B

Открытие первой страницы сайта и внутренние переходы по сайту не передаются (!)

Google Chrome

Подсказки:

GET http://suggest.seccint.com/CSuggestJson.ashx?prefix=seoconference.ru

<< 200 OK 23B

Каждый запрос:

POST https://clients4.google.com/chrome-sync/command/?client=Google+Chrome&client_id=yO/RALMV%2B5PUger0DQOr/A%3D%3D

<< 200 OK 299B

При открытие каждой страницы через POST-запросы передается много данных, в том числе GEO. (Формат распознать сложно)

Выводы о полноте данных из браузеров

Яндекс может получать данные только из Яндекс.Браузера (доля 5.2%)

Google имеет значительно больше данных: Google Chrome (26.6%) + Android (19.7%)

http://www.liveinternet.ru/stat/ru/browsers.html?period=month

Предположения:

1.Яндекс.Браузер не сможет занять долю Google Chrome и Android, а для нормальной работы BrowseRank Яндексу нужно хотя бы 20%

2.Необходимы данные обо всех пользователях, так как нужно таргетировать медийную рекламу

3.Возможный выход – обязательная установка Метрики

4.Как можно продвинуть Метрику в массы – шифровать рефереры

5.Сайты без Метрики будут ранжироваться все хуже

Предположения текущему BrowseRank:

1.У Google достаточно данных из собственных браузеров

2.Яндекс все активнее использует данные из Метрики

Эксперимент по влиянию переходов по ссылкам

1.На входе имеет несколько идентичных сайтов/страниц с идентичным контентом

2.На все страницы покупаем несколько идентичных ссылок

3.На ссылки по одной половине страниц начинает делать переходы

Выбраны редкие, но существующие слова, чтобы можно было потом сравнить позиции результатов

Усиление ссылок при помощи PFLink.ru

В итоге страницы имеющие ссылки с переходами проранжировались значительно Выше

Срез по изменению видимости сайтов, продвигавшихся в PFLink.ru за месяц:

1.Анализ 400 сайтов, по которым за последний месяц делалось не менее 40 переходов в день

2.Средний прирост видимости в Google +21%

3.Средний прирост видимости в Yandex +18%

Усиление ссылок vs ссылки с трафиковых сайтов:

1.Если ссылка находится на посещаемой странице, но переходов нет – это плохой сигнал

2.Есть ли смысл переплачивать за трафиковые страницы?

Как можно естественным путем получить ссылки с трафиком?

Продвижение пресс-релизов или статей-прокладок в результатах поиска:

- выбор площадок, которые хорошо ранжируются

- контентная оптимизация статей

- внешняя оптимизация

Вопросы

Николай ХивринCEO & Founder ALTWeb Grouphttps://www.facebook.com/khivrinhttp://www.megaindex.org/khivrin