Машинное обучение в MATLAB - Exponenta.ru...2017/05/18 · 24 Машинное обучение на Big Data•Статистика (skewness, tabulate, crosstab,
Post on 19-Jun-2020
5 Views
Preview:
Transcript
1
Машинное обучение в MATLAB
Павел Рословец
2
План вебинара
Машинное обучение
Глубокое обучение
Обучение на Big Data
Экспорт алгоритмов
45 мин
3
Искусственный интеллект
Машинное обучение
Развитие технологий ИИ
Глубокое обучение
1950s сегодня1980s
Ши
рота
при
ме
нени
я
Автономные авто
Роботы
Распознавание объектовБиоинформатика
Интернет вещей
Определение спама
Обнаружение мошенничества
Предсказание погоды
Алгоритмический трейдинг
Медицинская диагностика
Мониторинг здоровья
Компьютерные игры
Машинный перевод
Представление знаний
Восприятие
Аргументация
Интерактивные проргаммы
Экспертные системы
4
Машинное обучение рассматривают, когда
корректироваться при поступлении новых данных
находить сложные нелинейные взаимосвязи
эффективно обучаться на больших данных
• Решение слишком сложное для написания уравнений
Распознавание речи Распознавание объектов Контроль оборудования
• Решение должно адаптироваться под новые данные
Прогноз погоды Предсказание энергозатрат Предсказание рынка
• Решение нужно масштабировать
Аналитика IoT Поиск такси Предсказание задержки рейсов
Потому что алгоритмы могут:
5
Сложности машинного обучения
Анализ занимает много времени
Необходима серьезная техническая экспертиза
Нет одного решения для всего
Решения в виде «черных ящиков»
Большое количество математических функций
Документация и приложения упрощают работу
Приложения позволяют быстро подобрать модель
Создание из моделей независимых приложений
6
Алгоритмы машинного обучения
Машинное обучение
Обучение с учителем
Классификация
Регрессия
Обучение без учителя
Кластеризация
Группировка и интерпретациявходных данных
Поиск взаимосвязимежду входом и
выходом
7
Кластеризация
Обучающие данные
?Входные
данныеКластеры
8
Классификация
Обучающие данные
?Входные
данныеКлассы
9
Регрессия
Обучающие данные
?Входные
данные
Непрерывная
величина
10
Statistics and Machine Learning
Toolbox
11
Методы кластеризации
Кластеризация
k-Means,Fuzzy C-Means
HierarchicalGaussianMixture
HiddenMarkov Model
12
Методы обучения с учителем
Регрессия
Классификация
NearestNeighbor
Discriminant Analysis
Naive Bayes
Gaussian Process
Non-linearReg.
(GLM, Logistic)
LinearRegression
DecisionTrees
Ensemble Methods
Support Vector
Machines
13
Улучшение моделей
• Выбор признаков
• Трансформация
признаков
• Настройка
гиперпараметров
14
Выбор признаков(Feature Selection)
• Stepwise regression
• Sequential feature selection
• Regularization
• Neighborhood component analysis (NCA)
15
Трансформация признаков(Feature Transformation)
• Principal component analysis (PCA)
• Nonnegative matrix factorization
• Factor analysis
• Sparse Filtering
• Reconstruction ICA
16
Демо ирисы ФишераКластеризация
Sepal
Petal
17
Предсказательное обслуживание(Predictive Maintenance)
Анализ накопленных данных
Создание модели для предсказания отказов
Развертывание модели для предсказания в реальном времени
Предотвращение отказов
Сбор данных
18
Данные
Сигналы с датчиков 100
двигателей одной модели
Цель
Построить модель предсказания
отказов
Демо предсказание отказов двигателяКлассификация
19
Использование накопленных данных
?
На
копл
енн
ые
«Ж
ивы
е»
Двигатель1
Двигатель2
Двигатель100
Начало использования
Циклы
(время)
Двигатель200
Начало записи Отказ Обслуживание
20
Демо предсказание стоимости таксиРегрессия
Данные
Статистика поездок такси
Нью-Йорка
Цель
Построить модель предсказания
стоимости поездки
21
Обучение на больших данных
Зачем использовать?
–Обучение на больших выборках дает более
точную модель
Сложности
–Данные не помещаются в память
–Интерактивная работа непрактична
22
Стандартные методы
• Использование только части данных
• Последовательная работа с частями данных
• Распараллеливание обработки
• Дополнительная работа• Требует больше усилий/кода• Может повлиять на качество результата
23
Подход MATLAB
• Быстрый переход к большим данным
• Обучение на больших данных
• Автоматическое распараллеливание
• Бесшовный переход от обучения на обычных данных к Big Data
24
Машинное обучение на Big Data
• Статистика (skewness, tabulate,
crosstab, cov, grpstats, …)
• K-means кластеризация (kmeans)
• Визуализация (ksdensity,
binScatterPlot; histogram, histogram2)
• Уменьшение размерности (pca,
pcacov, factoran)
• Linear and generalized linear regression
(fitlm, fitglm)
• Discriminant analysis (fitcdiscr)
• Linear classification methods for
SVM and logistic regression
(fitclinear)
• Random forest ensembles of
classification trees (TreeBagger)
• Naïve Bayes classification (fitcnb)
• Regularized regression (lasso)
• Предсказание по Big Data
25
Экспорт алгоритмов
MATLAB
MATLAB
Compiler SDK
C/C++Excel JavaHadoop .NET
MATLAB
Compiler
MATLAB
Production
Server
Standalone
ApplicationPython
MATLABRuntime
26
Генерация С кода из моделей машинного обучения
MATLAB Coder Мобильные сенсоры
Мониторинг состояния
Предсказание отказов
Пост-обработка для радаров
Системы наблюдения
Классификация физиологических
сигналов(ECG)
...
C code
MATLAB code
Embedded Systems
27
– Vector machine classification (fitcsvm)
– Linear classification models (fitclinear)
– Multi-class versions of the above (fitcecoc)
– Linear regression models (fitlm)
– Generalized linear regression models (fitglm, glmval)
– Decision trees for classification and regression (fitctree, fitrtree)
– Ensembles of trees for classification (fitcensemble)
Генерация С кода из моделей машинного обучения
28
M
MATLAB Compiler
MATLAB Compiler
SDK
MATLAB Coder
Statistics and Machine Learning ToolboxMATLAB
MATLAB идеальное решение для
машинного обучения
Загрузка
данных
Обработка
данных
Извлечение
признаков
Тренировка
модели
Подбор
лучшей
модели
Интеграция в
производство
29
https://www.mathworks.com/campaigns/products/offer/machine-learning-with-matlab
30
Neural Network Toolbox• Создание и обучение нейросетей
• Глубокое обучение
• Классификация, регрессия и кластеризация
• Графические инструменты
• Экспорт алгоритмов и генерация С кода
• (скоро) генерация GPU кода
31
Deep learning
• Экспорт функций для тренировкинейросетей
• Поддержка AlexNet
• Transfer learning:− AlexNet− VGG-16− VGG-19− модели из Caffe
• Поддержка нескольких GPU
• Распознавание изображений:− R-CNN− Fast R-CNN− Faster R-CNN
32
Демо распознавание цифрTransfer learning
Данные
- Нейросеть для
распознавания букв
- Набор цифр
Цель
Обучить сеть распознавать
цифры
33
Особенности машинного
обучения в MATLAB
Работа с любыми данными
Огромные возможности анализа и
визуализации
Ускорение за счет параллельных
вычислений
Создание независимых приложений
34
Уникальность MATLAB
• Легко работать с данными, не влезающими в память
Работа с Big Data
• Реализация полного цикла разработки
Экосистема тулбоксов
• Тренировка, сравнение и экспорт моделей без написания кода
Графические приложения
• Развёртывание моделей на встраиваемых системах
Генерация кода
35
MATLAB – самая простая и эффективная среда для специалистов в области машинного обучения
36
MATLABinRussia
mathworks.com
matlab.ru
• User stories• Products• Documentation
• Мероприятия• Тренинги
• Вводные ролики
37
• Поставка MATLAB & Simulink
• Обучение специалистов
• Настройка решений под ключ
• Консалтингexponenta.ru
info@exponenta.ru
+7 (495) 009 65 85
Центр инженерных технологий
и моделирования
38
• MLBE: основы MATLAB• MLVI: MATLAB для обработки и визуализации
данных• MLML: Машинное обучение с MATLAB• MLST: Статистические методы в MATLAB• MLEM: Генерация C кода из MATLAB с
помощью MATLAB Coderи другие…
Тренинги
39
Консалтинг
Интернет вещейАнализ данныхМашинное обучениеВстраиваемые системы
40
День вебинаров: Методы анализа данных для интернета вещей
11:00 - Анализ данных в MATLAB для IoT13:30 - Машинное обучение в MATLAB16:00 - Параллельные вычисления и Big Data
top related