Transcript
Deep LearningIvaylo Popov
13/02/2017
Защо дълбоки невронни мрежи?
● По-добри резултати от предишните методи:○ Изображения, говорима и писмена реч
○ Роботика, автономни автомобили, управление на системи
● Голям интерес в много индустрии: VW, Google, ...
● Подобен начин на работа с човешкия кортекс
● Artificial general intelligence (AGI)
● Нови технологии с динамично развитие
С две думи за мен:
Високо-честотно търгуванеХедж фонд, Германия (2010-)
Роботика, научни изледванияDeepMind, Лондон (2015-)
С две думи за DeepMind
DeepMind Research
● Reinforcement learning● Роботика и контрол● Памет, генеративни модели● Starcraft
DeepMind Applied
● Здравеопазване и за Google продукти
Разпознаване на изображения
Сегментация, оцветяване, ...
Генериране на изображения
Говорима реч: разпознаване и синтезиране
Писмена реч: генериране, превод и диалогови системи
Мултимодални: от изображение до заглавие
Reinforcement learning: игри
DQN playing Atari Breakout AlphaGo playing vs. Lee Sedol
Reinforcement learning: роботика и контрол
Хващане на обекти с роботизирана ръка (Google)
Огромен интерес в ИТ и други индустрии
Връзки с начина на работа на мозъка
Универсалност на мозъчната кора
Backpropagation в мозъка: G. Hinton, Y. Bengio, T. Lillicrap
Backpropagation - STDP(spike-time dependent plasticity, пластичност на синапсите)
Допамин - reinforcement сигнал
Слоеве и филтри
Съответствие на зрителните слоеве с определени зони на мозъчната кора
Габор-филтри в невронни мрежи иневрони реагиращи на ориентация в мозъка
История
1960’ Поредица от нелинейни операции; chain ruleKelley, 1960; Bryson, 1961; Bryson and Denham, 1961; Pontryagin et al., 1961; Dreyfus, 1962; Bryson and Ho, 1969
1980’ Популяриция на backpropagation за невронни мрежиRumelhart, D. E., Hinton, G. E., and Williams, R. J., 1986
1990’ Конволюционни мрежи и LSTM рекурентни невронни мрежиLeCun et al., 1989, 1990, 1998, Hochreiter and Schmidhuber, 1997
2000’ Deep learningПред-трениране на дълбоки мрежи със стек от RBM, Hinton and Salakhutdinov, 2006
Режим на количеството данни
Малко теория
● Типове машинно обучение
● Невронни мрежи
● Графове
● Трениране
Типове машинно обучение
Тип машинно обучение Данни Целеви стойности
Supervised learning Фиксирани Зададени
Unsupervised learning Фиксирани Не са зададени
Reinforcement learning Динамични Reward
Reinforcement learning
Невронни мрежи - класически поглед
Невронни мрежи - генерализация
Директен ацикличен граф (DAG) от
● Входни данни (зададени стойности)
● Диференцируеми операции
○ Матрично умножение
○ Нелинейни операции
○ Гейтинг (умножение точка по
точка)
○ Dropout, batch нормализация, ...
● Целева фунция (MSE, cross-entropy)
● Параметри (променливи)
Платформи
Трениране
1. Граф от деференцируеми операции
2. Backpropagation (chain rule) - обратно разпространение на грешката
Mетод за изразяване на градиента на съставна функция по отношение на аргумените
… целевата функция по отношение на параметрите
3. Stochastic gradient descent (SGD)
Итеративен алгоритъм за оптимизация (с мини-батчове)
4. Adam, Rmsprop
По-ефективни (+ статистики от първи и втори ред)
Всичко това получаваме наготово в TensorFlow
Преизвикателства в тренирането
1. Локални минимуми
2. Седловининни точки
3. Overfitting
4. Изчезване на градиента (diminishing gradients)
5. Дългосрочна памет (също long term credit assignment)
Седловинни точки
Предизвикателства в тренирането
1. Локални минимуми
2. Седловининни точки
3. Overfitting
4. Изчезване на градиента (diminishing gradients)
5. Дългосрочна памет (също long term credit assignment)
Overfitting
Методи за регуляризация● Ранно спиране на тренирането
● Рекурентни и конволюционни слове
● Dropout
● Batch нормализация
● Добавяне на шум в данните
● Генереране на данни
● Използване на допълнителни данни
● Стохастични слоеве
Всички промени по архитектурата и тренирането - регуляризация или prior
Регулярицация с валидация и ранно спиране
*Слоеве - съвкупност от няколко операции
● Конволюционни (convolutional)
● Секвенционни / рекурентни (recurrent)
● Batch нормализация, dropout и много други
Специални слоеве и операции
Конволюционни слоеве
Секвенциални / рекурентни слоеве (recurrent)
Примерни приложения● Residual networks
● Sequence-to-sequence модел за превод на текст
● Generative adversarial networks (GAN)
● PixelCNN
● WaveNet
● Tree search + policy / value мрежи (AlphaGo)
● Контрол с дискретни действия (DQN)
Все по-дълбоки мрежи за изображения
Residual мрежи за класификация
Deep Residual Learning for Image Recognition, He et al., 2015
Sequence-to-sequence модел за превод
Generative adversarial networks (GAN)
Generative adversarial networks (GAN)
PixelCNN - генериране на изображения
PixelCNN - генериране на изображения
WaveNet - генериране на говорима реч
Контрол с дискретни действия (DQN)
● Конволюционна Q-мрежа
● Памет с предишен опит
● Q-reinforcement learning
● Target мрежи
AlphaGo - policy/value мрежи
Работен процес на научно изследване1. Начална версия на модел и метода за трениране - baseline
2. Малки и изолирани промени
3. Дефиниране на очакваните резултати
4. Експерименти (тестове)a. Бързи експерименти (малък брой вариации, <1 ден)
b. Широки експерименти (голям брой вариации, 1-30 дни)
5. Визуализиране и анализиране резултатите
6. Обясняване на резултатите и търсене на грешките навреме
7. Запазване и документиране на нови baselines
Визуализиране на резултати с IPython
Самообучение● Основи линейна алгебра и анализ
● Книги:a. Deep Learning, Goodfellow et al. 2016
b. Машинно обучение: C. Bishop, K. Murphy, Hastie and Tibshirani, и други
c. Reinforcement learning: R. Sutton
● Онлайн курсове и лекции:d. Machine learning course, Andrew Ng (Coursera)
e. Machine learning lectures, Nando de Freitas (University of Oxford)
f. Reinforcement learning lectures, David Silver (UCL)
Самообучение - продължение...● Статии:
○ Следване на новостите в arxiv и google (автори, катедри, компании, ...)
○ Конференции
■ NIPS - Neural Information Processing Systems
■ ICML - International Conference on Machine Learning
■ ICLR - International Conference on Learning Representations
● Експериментиране с последни модели от статии (github)
● Kaggle - успешни решения и практики
Хардуеър
● CPU - евтино и достатъчно бързи за non-CNN* ● GPU - изкючително бързи за CNN● Специализирани - напр. Google TPU
● Локална машина - бързи експерименти● Cloud - широки експерименти
Настояще и бъдещеDeep learning вече революционира:
● Oбработка на изображения, видео, писмена и говорима реч● Автономно управление на автомобили и дронове● Автоматизация в маркетинг, продажби и доставки● Здравеопазване● Виртуални асистенти и чатботове● Автоматизация и роботика
Автоматизация и роботика в Ocado Technology
Системи за контролРоботика
Маршрутизиращи системиМашинно обучение CRM и SCM
Симулатори
Международни компании
shivonzilis.com
Thank you!
Ivaylo . popov @ hotmail . com
LinkedIn | Facebook
top related