А.Левенчук -- Образование по машинному обучению

Образование по машинному обучению.

Семинар РАБО и МТИ «Нейротехнологии: новая перспектива в бизнес-образовании»

Москва8 июня 2016г.

Чему учим? Практика = дисциплина + технология

Дисциплинированные (компетентные) исполнители,

обеспеченные необходимыми для поддержки дисциплины инструментами2

ВУЗ, ШКОЛА

(education)

Производство,

повышение квалификации (training)

Главное,

невидимое!

Вторичное, видимое!

3

Схематизация: различение дисциплины и технологии в практике

• дисциплины = мышление (операции с абстрактными типизированными объектами). Меняются за 30 лет. Учатся в школе и ВУЗе. Практика определяется по её дисциплине. Инвестиции в «человеческий капитал».

• технологии = инструменты и рабочие продукты (поддержка мышления в экзокортексе). Меняются каждые 5 лет. Учатся на производстве. Проекты используют технологии как «ресурсы». Инвестиции в традиционный капитал.

• Понимание связи дисциплин и технологий, идеальных объектов дисциплин и рабочих продуктов в жизни нужно ТРЕНИРОВАТЬ, для этого обычно нужен преподаватель

В жизни ни одного слова из учебника

В учебнике ни одного слова из жизни

=Компоненты, функциональные единицы,альфы

=Модули, конструктивные единицы, рабочие продукты

Главная дилемма образования

• Формальное образование против материального• Быдлокодеры и быдлонейротехнологи

Биологическое «нейро»

• Нейро – обычно всегда «живое», нейрофизиология• Искусственное «нейро» -- deep learning или

machine learning• Они родственники, но дальние! (вдохновляют друг

друга, но не более)

• Справка по нейронет• Коллаборативный нейронет (мониторинг когнитивной

нагрузки, в т.ч. при обучении)• НТИ Нейронет («Рособороннейро»)

6

Моделирование, программирование, проектирование

• Противопоставляются обучению• Развивается ускоренными темпами: конвергенция• Главный тренд: «мета» (модели моделей, уровни абстракции)• Они всё про одно и то же: формальные описания мира• Разница: цели, способы выполнения, языки• Моделирование: выполнение=«как договоримся»

• Онтологизирование: моделирование концептов («formal specification of shared conceptualization»).

• Физическое моделирование

• Программирование: выполнение = вычисление в семантике какого-то языка

• Проектирование: выполнение=воплощение в пространстве-времени

• Граница с обучением размывается: множество работ типа диссертации Войцеха Зарембы «Learning Algorithms from Data» (http://www.cs.nyu.edu/media/publications/zaremba_wojciech.pdf)

И тут пришёл коннекционизм («нейронные сети»)

http://blogs.nvidia.com/blog/2016/01/12/accelerating-ai-artificial-intelligence-gpus/

2012 – догадались использовать GPU для распознавания изображений

2015 –стали распознавать лучше людей

С тех пор темп открытий не уменьшился.

8

В чём суть сегодняшнего прорыва в машинном интеллекте?• Отказ от логики (даже нечёткой) в пользу

многоуровневых распределённых представлений (коннекционистская парадигма) – http://ailev.livejournal.com/1228029.html• Распределённость – это не раскиданные по разным

носителям тексты! Это совсем-совсем другое (более похоже на голограммы против растровой или векторной графики – нельзя указать, где в голограмме хранится какой пиксель или вектор картинки).• В распределённых представлениях можно также делать

логический вывод – http://ailev.livejournal.com/1266905.html

9

За счёт чего сверхчеловеческие (superhuman) результаты?• Многослойность нейронной сети: каждый уровень сети – это

уровень абстракции.• У людей немного уровней нейронной сети, в компьютерах уже

сегодня число уровней моделируется больше, чем в мозге.• Это означает, что мощность представления мира в нейронных

сетях в каждой предметной области выше. Так что речь сейчас идёт больше о наборе достаточной «широты» (предметных областей), глубины (числа уровней абстракции) уже хватает.

• Снятие ограничения на число уровней абстракции заодно позволяет нейронной сети быть «умней» в науке и инженерии: работать с более сложными, более абстрактными теориями и эвристиками – в том числе и недоступными для понимания человеком.

10

Машинное обучение, обучение репрезентациям, deep learning (собственно «нейро»).

Shallow LearningBig Data

Deep Learning

Neuroevolution

Bayes Army

SymbolicТеорема бесплатного завтрака

Master AlgorithmPedro Domingos [module/construction]

• Symbolic• Evolution• Connectivist• Bayesian• Analogy[No free lunch!]

Sarath Chandar [component/function]•multi-task learning• transfer learning• zero-shot/one-shot

learning•multi-modal learning• reinforcement learning

11

http://apsarath.github.io/2016/01/19/agi/ http://www.amazon.com/dp/0465065708/

12

Специальность «инженерия машинного обучения»• Systems engineering [Bell Labs in 1940s, boosted as a

profession by NCOSE 1990]• Software engineering [term appeared in 1965, boosted

by NATO as a profession in 1968]• Machine learning engineering [term appeared in 2011]

https://www.google.com/trends/explore#q=machine%20learning%20engineering&cmpt=q&tz=Etc%2FGMT-3

13

Intelligence Platform Stackand machine learning engineering in it

Application (domain) Platform

Cognitive Architecture Platform

Learning Algorithm Platform

Computational library

General Computer Language

CPU

GPU/FPGA/Physical computation Drivers

GPU/FPGU/Physical computation Accelerator

Neurocompiler

Neuromorphic driver

Neuromorphic chip

Disr

uptio

n en

able

rsDisruption dem

and

Thanks for computer gamers for their disruption demand to give us disruption enabler such as GPU!

С чего начать

14

Недавно в ходе пятидневного вводного курса, проводимого Обучающим центром МТИ, одна женщина-менеджер из конструкторского отдела компании Ford лаконично сформулировала ситуацию: «Спустя пару дней, — сказала она, — я начинаю понимать, о чем вся эта история с системным мышлением и интеллектуальными моделями. Мне это напоминает время, когда я только начала знакомиться с высшей математикой. Сначала я чувствовала себя совершенно потерянной. Все это было мне совершенно чуждо. Но потом я начала «схватывать» суть. Через год я уже вполне владела основами этого дела. Через пять лет это стало основой моей профессии». Потом она добавила: «Если бы высшую математику изобрели сегодня, ни одна из наших корпораций не смогла бы ею овладеть. Мы бы посылали каждого на трехдневные курсы. Затем каждый получал бы три месяца на то, чтобы посмотреть, работают ли «все эти штуки». А когда выяснялось бы, что они не работают, мы бы начинали пробовать что-нибудь другое».

Питер Сендж, "Пятая Дисциплина"

Что внутри (компетенции)• Это не похоже на образование программиста!• Непрерывная математика:

• линейная алгебра• Матанализ• Байесовская статистика• Численные методы• Математическая оптимизация (включая нелинейную)

• Спецкурсы по машинному обучению• Проблема: каждый год предметная область существенно обновляется!

• Программная инженерия• Scientific computing: [было Fortran и MATLAB], С++, Python, будет Julia (остальное

маргинально, например R главным образом используется в shallow learning)

• Кавалерийский наскок (трёхдневные курсы повышения квалификации) не поможет!

• Переучивать программиста дольше, чем доучить физика или инженера (линейная алгебра и матан заходят в мозг долго и требуют тяжёлого труда – современных программистов этому по факту не учат).

Conversion of engineeringsandDisruption of engineerings

16

Systems

Engineering

Control Engineering

Software Engineering

Machine Learning

Engineering

???

Janosh Szepanovits. Convergence: Model-Based Software, Systems And Control Engineering

+

http://www.infoq.com/presentations/Model-Based-Design-Janos-Sztipanovits

Le Bottou – «Machine Learning disrupts software engineering»http://leon.bottou.org/slides/2challenges/2challenges.pdf

We can add:• Machine learning disrupts

systems engineering• Machine learning disrupts

control engineering• …• Machine learning disrupts

contemporary engineering

А что с инженерным образованием?!

Ещё?• Такие же изменения в структуре предметов, которые когда-то

вызвали • информационные технологии (по содержанию работы)• интернет (по организации работы)

• Пример: лингвистика уже совсем-совсем другая, массовая нужда в нейролингвистах:• Чатботы колл-центров• Чатботы всех устройств с контроллерами• Обработка и синтез текстов на многих языках• Лингвистика сегодня – это и про обработку изображений (описания

изображений, построение изображений по описаниям)• Реклама и маркетинг с пропагандой, игры и развлечения,

социальные сети, системы безопасности, ПРАКТИЧЕСКИ ВЕЗДЕ, ГДЕ НУЖЕН ЧЕЛОВЕК: можно • автоматизировать то, что делалось людьми раньше• Делать то, что раньше люди делать не могли (в силу ограничений

человека).

18

Спасибо за внимание

Анатолий Левенчук,http://[email protected]