Компьютерная лингвистика в Яндексе

Виталий ВолкОтдел лингвистических технологий

Компьютерная лингвистика

в Яндексе

1

Области применения

• Поиск– Лингвистическая информация о запросе– Лингвистическая информация о документе

• Вне поиска

2

Лингвистические методы

• Machine Learning• Статистика

• Контекстно-свободные грамматики • Словарные и корпусные данные• Онтологии• Языковые модели

3

В Поиске

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

Исправление опечаток

• Генерация гипотез• Оценка исходного запроса и каждой гипотезы

по языковой модели (language model)• Сравнение разницы вероятностей с

функцией ошибки

22

Тезаурусные расширения

23

Как заметить расширения?

Контекст запроса: когда нельзя расширять

25

Персонализируем расширения

26

Вне Поиска

Яндекс.Перевод

Голосовые команды

Едем от «улица Льва Толстого, 16» до «Азбука Вкуса» через «Лукойл»

Извлечение фактов в почте

Выделение именованных объектов

31

Выделение именованных объектов

32

Виталий Волк

[email protected]Отдел лингвистических технологий

Спасибо!