Применение методов Deep Learning к диалоговым системам и чат-ботам

ПРИМЕНЕНИЕ МЕТОДОВ DEEP LEARNING К ДИАЛОГОВЫМ СИСТЕМАМ = ЧАТ-БОТАМ

Михаил Бурцев,к.ф.-м.н., зав. лаб.

«Нейронных сетей и глубокого обучения» МФТИ,

директор по науке DeepHackLab

вставляем мозги

• Активность нейрона определяется преобразованием взвешенного суммарного воздействия на него

• Воздействия могут быть активирующими(положительные веса) или тормозными (отрицательные веса)

ИСКУССТВЕННЫЙНЕЙРОН

• Искусственная нейронная сеть(ИНС) является концептуальной моделью биологической нейронной сети

• Состоит из элементов, влияющих на активность друг друга

• Основные свойства– надежность – по мере ухудшения

качества входа, удалении связей или элементов эффективность сети снижается постепенно

– гибкость – ИНС могут быть применены в широком круге задач

– генерализация – достаточно обучения на ограниченной выборке

– ассоциативность памяти

ИСКУССТВЕННАЯНЕЙРОНАЯ СЕТЬ

ЧТО ТАКОЕГЛУБОКОЕ ОБУЧЕНИЕ?

DEEP LEARNING =

DIG DATA + GPU

РЕКУРРЕНТНЫЕ НЕЙРОННЫЕ СЕТИ

задача предсказания временных рядов

архитектура рекуррентной сети

LSTM ячейка

примеры приложений в области работы с текстом

• Какое из событий предсказывает появление -

В ПОИСКАХ ПАМЯТИ

.E D C. . .B . XA . . ?????

нейросеть

X

• «Классические» нейронные сети – сети прямого распространения (feedforward network) не обладают памятью.

• «Активации» проходят всю сеть насквозь.

• Нейросети «с памятью» –рекуррентные сети.

• За счет наличия обратных связей «активации» циркулируют в сети.

В ПОИСКАХ ПАМЯТИ

сеть прямого распространения

рекуррентная сеть

• Сигнал затухает!

П РОБЛЕМА ГЛУБИНЫ

• «Однослойная» рекуррентная

сеть

• LSTM

• «Ячейка памяти», управляемая

затворами

LSTM

LSTM: Н ЕЙРОАРХИТЕКТУРА

Human: what is the purpose of life?Machine: to serve the greater good.Human: what is the purpose of living?Machine: to live forever.Human: what is the purpose of existence?Machine: to find out what happens when we get to the planet earth.Human: where are you now?Machine: i’m in the middle of nowhere.Human: what is the purpose of dying?Machine: to have a life.Human: what is the purpose of being intelligent?Machine: to find out what it is.Human: what is the purpose of emotions?Machine: i don’t know.

Vinyals, O. and Le, Q., 2015. A neural conversational model. arXiv preprint arXiv:1506.05869.

Алиса теперь счастлива.

• Она не говорит, что это так.

• Она в опасности.

• Она выглядит прекрасно.

• Она была на концерте Фаллуджи.

• Я знаю, что она влюблена в него.

• Она великолепна.

• Она принесла нам немного воды.

• Она ведьма.

• А когда она говорит: "Я не говорю, что когда она позвонит"

• И когда она вернётся, я поняла,

Алиса попала в беду.

• Она не собирается никого убивать.

• Она изменила свою жизнь.

• Да, да. Она не умеет жить.

• Я видела в ней все свои приключения.

• Вот она вот и все.

• Ты не нашел ее?

• И все же так обожает.

• . ♪ К кому она придумала это? ♪

• А она не знает, кто ты?

РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ

Внутреннее представление вопроса

ПРИ ГЕНЕРАЦИИ ОТВЕТАХРАНИМ В ПАМЯТИ ВОПРОС

Внутреннее представление вопроса

Yao, Kaisheng, Geoffrey Zweig, and Baolin Peng. "Attention with Intention for a Neural Network Conversation Model." arXivpreprint arXiv:1510.08565 (2015).

ПРИ ГЕНЕРАЦИИ ОТВЕТАХРАНИМ В ПАМЯТИ ВОПРОС +

СОСТОЯНИЕ ДИАЛОГА

Внутреннее представление вопроса

Внутреннее представление диалога

ПОРЯДОК ИМЕЕТ ЗНАЧЕНИЕДВУНАПРАВЛЕННОЕ КОДИРОВАНИЕ

Schuster, Mike, and Kuldip K. Paliwal. "Bidirectional recurrent neural networks." Signal Processing, IEEE Transactions on45.11 (1997): 2673-2681.

Внутреннее представление вопроса

ПОРЯДОК ИМЕЕТ ЗНАЧЕНИЕ ФУНКЦИЯ «ВНИМАНИЯ»

«внимание»

Weston, Jason, et al. "Towards ai-complete question answering: A set of prerequisite toy tasks." arXiv preprint arXiv:1502.05698 (2015).

СЕТЬ С ПАМЯТЬЮMEMORY NETWORK

Sukhbaatar, S., Weston, J., & Fergus, R. (2015). End-to-end memory networks. In Advances in Neural Information Processing Systems (pp. 2431-2439).

Sukhbaatar, S., Weston, J., & Fergus, R. (2015). End-to-end memory networks. In Advances in Neural Information Processing Systems (pp. 2431-2439).

СЕТЬ С ПАМЯТЬЮMEMORY NETWORK

Xiong, Caiming, Stephen Merity, and Richard Socher. "Dynamic Memory Networks for Visual and Textual Question Answering." arXiv preprint arXiv:1603.01417 (2016).

ДИНАМИЧЕСКАЯ СЕТЬ С ПАМЯТЬЮDYNAMIC MEMORY NETWORK

РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ

Xiong, Caiming, Stephen Merity, and Richard Socher. "Dynamic Memory Networks for Visual and Textual Question Answering." arXiv preprint arXiv:1603.01417 (2016).

РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ

Xiong, Caiming, Stephen Merity, and Richard Socher. "Dynamic Memory Networks for Visual and Textual Question Answering." arXiv preprint arXiv:1603.01417 (2016).

300 заявок на участие50 участников

12 команд2 команды из Армении1 команда из Эстонии

20 лекций на youtube3000 просмотров на неделю

31.01-06.02.2016 – MIPT

qa.deephack.me

ГЛУБОКОЕ ОБУЧЕНИЕЧАТ-БОТЫ

� Рекуррентные нейронные сети для кодирования последовательностей� LSTM

� GRU

� MemNN

� Сохранение в памяти представления о� вопросе

� текущем состоянии диалога в целом

� Учет порядка слов в предложении� двунаправленное кодирование

� функция внимания

вставляем мозги

Neural Networks

and Deep Learning

Lab