11 Uvarov Optimization2008

ИНТЕРНЕТ-ПОИСК ИПОИСКОВЫЙ СПАМ

Павел Уваров руководитель группы разработки

отдела поисковых систем

Главная техническаязадача поисковика

• Пользователь доволен– релевантностью– быстротой ответа– функционалом

Что ищет пользователь?• Информацию (“когда родилсяНьютон”)

• Сайт (“официальный сайтналоговой службы”)

• Сервис (“где купить авиабилетonline”)

• Интерес (“продам микроволновку”,“ищу собутыльника”). Не являетсязадачей традиционного поиска

Традиционные методыинтернет-поиска

• Поиск по тексту документов• Поиск по текстам ссылок• Ссылочная авторитетность

(Pagerank)• Требование оперативности ->простота методов -> уязвимостьдля спама

Конфликт интересов• Поисковику важно оставитьпользователя довольным

• Сайтам важно оказаться впоисковой выдаче, даже еслипользователь не будет этимдоволен

• Результат -- борьба поисковика соспамом

Спам• Хорошая оптимизация -- этостремление попасть в поисковуювыдачу без ущерба для еерелевантности

• Вся остальная оптимизация --недобросовестная, то есть спам

• Борьба со спамом -- пессимизация

Как пессимизировать?• Банить сайт• Перестать учитывать ссылки сэтого сайта

• Антипейджранк (яд)• Нужна осторожность

Автоматическиеметоды пессимизации

• Статистический анализ текста(выявление дорвеев)

• Выявление скрытого текста• Статистический анализ ссылок

(выявление ссылочного спама илинк-ферм)

• Исполнение javascript с фиксациейредиректов

• Выявление клоакинга

Ручные методыпессимизации

• Ассессирование (ручной анализпоисковой выдачи)

• Модерирование (просмотрзарегистрированных сайтов)

• Обработка жалоб (спамеры стучатдруг на друга)

Уязвимые местапоисковиков

• Мутирующий контент• Мутирующие ссылки• Клоакинг• Маскировка под нормальныесайты

Пример скрытого текста

Клоакинг (что отдается пользователю)

Клоакинг (что отдается поисковомуроботу)

Самый обычный дорвей

Злобный дорвей

Дорвей, замаскированный под форум

Дорвей, замаскированный подфотогалерею

Линк-ферма или по-русскилинкопомойка

Размещение ссылок на немодерируемыхфорумах

Борьба со спамом --увлекательное занятие :)

Спасибо за внимание.Вопросы?