Нейроморфный чип “Алтай” ориентированный на использование в РТК (ПСиЗУ 2016)

Нейроморфный чип “Алтай”,

ориентированный на использование в РТК

ПСиЗУ 2016

Канглер В.М., Катомин М.Н., Панченко К.Е.

1 Мотив Нейроморфные Технологии. 2016

Мотив Нейроморфные Технологии. 2016

Повестка

2

● Проблематика и мотивация

● Искусственные нейронные сети (ИНС)

● Три поколения ИНС

● Аппаратная реализация ИНС

● Известные проекты

● Цифровой нейроморфный чип “Алтай”

● Модели применения нейрочипа “Алтай”

● Применения нейрочипа “Алтай” в РТК

● Области применения нейроморфных чипов


Что означает нейроморфный?

3

Нейроморфными называются технологии, направленные на создание аппаратных/физических моделей нервной и сенсорной систем, аналогичных биологическим.

Концепцию "нейроморфных систем" предложил Карвер Мид в конце 80-х годов, описывая идею создания СБИС, содержащей аналоговые схемы, имитирующие нейро-биологические структуры, представленные в нервной системе животных/человека.


Зачем это нужно?

Наступающая новая эра интеллектуальных систем, интернета вещей, роботов и беспилотного транспорта нуждается в новых вычислительных средствах, способных в реальном режиме времени обрабатывать гетерогенные "зашумлённые” данные большого объема.

4

ПРОБЛЕМЫ● Темпы роста данных для обработки

превышают темпы роста производительности вычислительных систем.

● Неэффективность существующей вычислительной архитектуры в решении ряда задач (архитектура фон Неймана).

● Высокое энергопотребление суперкомпьютеров.

● Невозможность дальнейшего интенсивного роста производительности. Закон Мура уже не работает.


Парадокс Моравека

5

“Относительно легко достичь уровня взрослого человека в таких задачах как тест на интеллект или игре в шашки, однако сложно или невозможно достичь навыков годовалого ребенка в задачах восприятия, распознавания или мобильности.”

Ханс Моравек

Например, сеть от Google, классифицирующая объекты на картинках (человек, кот, и т.д.) состоит из 1 000 машин (16 000 процессорных ядер). [Quoc V. Le, Marc’Aurelio Ranzato, Rajat Monga, Matthieu Devin, Kai Chen, Greg S Corrado, Jeff Dean, Andrew Y. Ng. Building High-level Features Using Large Scale Unsupervised Learning.]

Изображение взято из описания проекта DARPA SyNAPSE

http://static.googleusercontent.com/media/research.google.com/ru//archive/unsupervised_icml2012.pdf





Архитектура фон Неймана

6

В этой архитектуре каждый этап обработки требует нескольких шагов, где данные и команды перемещаются туда-сюда между памятью и процессором. Шаги обработки выполняются последовательно. Можно ввести некоторый параллелизм, но этого явно недостаточно. В течение последних десятилетий разработчики могли делать процессоры меньше и быстрее. Но в таком подходе мы почти достигли предела наших возможностей, и как раз в то время, когда мы нуждаемся в еще большей вычислительной мощности, чтобы справиться с требуемой сложностью и обработкой Big Data. Это приводит к невыполнимым требованиям для сегодняшних компьютерных технологий — в основном потому, что современные компьютеры требуют колоссальной энергии для их выполнения.

John E. Kelly III, Steve Hamm "Smart Machines: IBM's Watson and the Era of Cognitive Computing" Columbia University Press (September 24, 2013)


Требуется новая архитектура

7

Необходима новая вычислительная архитектура, которая должна вдохновляться примером человеческого мозга. 1. Обработка данных должна быть

распределена по всей вычислительной системе, а не быть сосредоточенной в центральном процессоре.

2. Обработка и память должны быть тесно интегрированы, чтобы уменьшить челночную пересылку данных и команд туда-сюда. И этапы обработки должны выполняться одновременно, а не последовательно.

Когнитивный компьютер, используя такую архитектуру, будет реагировать на запросы быстрее, чем сегодняшние компьютеры, потребует меньшего количества перемещений данных и будет использовать меньше энергии.Нейроморфная архитектура

John E. Kelly III, Steve Hamm "Smart Machines: IBM's Watson and the Era of Cognitive Computing" Columbia University Press (September 24, 2013)


Искусственные нейронные сети

Искусственная нейронная сеть — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма.

8

Модель нейрона


Три поколения ИНС

1-е поколение. НС с двоичными пороговыми нейронами. Функция активации ( ) неронов представляет собой перепад ( ф-я Хевисайда) .

9

С точки зрения типов нейронов Maass [W. Maass "Networks of Spiking Neurons: The Third Generation of Neural

Network Models", 1997] выделяет три поколения моделей нейронных сетей.

2-е поколение. НС с гладкой ф-ей активации нейронов. Например, с сигмоидальной ф-ей ( ).

где a - параметр наклона ф-ии.


3-е поколение НС — Spiking Neural Networks (SNN)

3-е поколение. НС с импульсными нейронами. В таких сетях моделируемые нейроны, как и реальные биологические нейроны, общаются друг с другом, используя электрические импульсы — спайки.

10

В работах Маасса [Maass 1997] продемонстрировано, что SNN могут решать все задачи, решаемые НС предыдущих поколений. При этом SNN обладают большей “вычислительной мощностью”, чем сети предыдущих поколений.

Под нейроморфными, как правило, понимают устройства, аппаратно моделирующие работу SNN.


Применение ИНС

Выделяют 6 основных задач, для решения которых в том или ином виде применяются ИНС [Хайкин Саймон, Нейронные сети: полный курс 2-е издание,

2006]

● Ассоциативная память.● Распознавание образов.● Апроксимация функций.● Фильтрация.● Управление. ● Прогнозирование.

11


Аппаратная реализация ИНС

12

Hardware Acceleration for Neuromorphic Computing – An Evolving View. Yiran Chen & Hai Li. 2015


Известные проекты

● SpiNNaker

● Neurogrid

● IBM TrueNorth

● BrainScaleS

● HRL Neurochip

● Qualcomm Zeroth

● NeuroMem CM1K

● Neuromorphic Co-

Processor Darwin

● BrainChip SNAP-64

13

SpiNNakerNeurocore (Neurogrid)

TrueNorthBrainScaleS

HRL Neurochip

NeuroMem CM1K Darwin

цифровой КМОП нейроморфный чип, моделирующий Spiking Neural Networks

Алтай

14 Мотив Нейроморфные Технологии. 2016


Нейроморфный чип

Неи ̆роморфный чип “Алтай”— «вычислительное» устрои ̆ство, функционирующее на принципах схожих с биологическими неи ̆ронными системами.

15

Ключевые преимущества:

1. Высокая эффективностьпо энергопотреблению, производительности и размерам.

2. Решение задач сложных для современных компьютеров, но простых для мозга.

3. Законченное изделие для автономного применения во встраиваемых системах (SoC).


Chip-off learning

“Алтай” должен обеспечивать эффективное функционирование произвольной спайковой нейронной сети.

16

Настройка параметров нейронов сети (в том числе и обучение), также как и задание структуры сети (связей между нейронами), должна выполняться вне чипа с использованием инструментальных программных средств.

Вынесение задач обучения за пределы кристалла расширяет возможности выбора подходов и способов формирования параметров сети, с тем чтобы получить требуемую выходную функцию, зависящую от входных данных, как для отдельных подсетей, так и для всей моделируемой сети в целом. Также это повышает эффективность использования нейрочипа на этапе функционирования обученной сети.


Реализация. Digital vs Analog

Цифровая реализация по сравнению с аналого-цифровой имеет ряд преимуществ.

1. Цифровая реализация значительно проще в плане дизайна и проектирования чипа.

2. Цифровые чипы менее чувствительны к особенностям производственного процесса, температурному режиму и паразитным шумам, чем аналоговые.

3. Работа цифровых схем полностью детерминирована, и при таком подходе можно добиться полного соответствия работы спайковой нейронной сети на чипе с ее моделированием на программном симуляторе.

4. Цифровой дизайн более гибок и повторяем — модифицируемые цифровые схемы могут быть значительно легче смоделированы, чем аналоговые.

5. Современные технологии проектирования и производства больших цифровых интегральных схем позволят преодолеть проблемы аналоговых реализаций без существенного увеличения размеров и энергопотребления.

17


Используемая модель нейронаВ проекте используется модификация “классической” модели неронна — LIF (Leaky Integrate-and-Fire) с постоянной величиной утечки. Модель неcколько упрощена — используется только целочисленная арифметика.

18

Synaptic integration

Leak integration

Threshold, spike fire, reset

endif

if

spike fire

(1)

(2)

(3)

(4)

(5)

Для j-го нейрона в момент времени t мембранный потенциал Vj(t) является суммой потенциала на предыдущем шаге Vj(t-1) и синаптических входов. Для каждого из N синапсов синаптический вход равен произведению входного спайка на синапсе xi(t) ∈ {0;1} с его синаптическим весом wi. Затем из накопленного потенциала вычитается величина утечки j. Если накопленная величина Vj(t) превышает порог j , то нейрон испускает спайк и мембранный потенциал “сбрасывается” до значения Rj (ресет).


Компоненты системы:

● CPU (OpenRISC)

● Локальная шина (Wishbone)

● Статическая память

● SPI для подключения FLASH

● UART контроллер

● SDRAM контроллер

● 2D решетка (2C x 2C) нейроядер

● Контроллер подключения решетки

нейроядер к локальной шине

Архитектура нейрочипа

19

Нейрочип представляет собой законченное изделие для автономного применения во встраиваемых системах. Выполнен как система на кристалле SoC (System-on-Chip).

Фрагмент решетки нейроядер


Нейроядро (структура)

Структурно ядро состоит из пяти функциональных блоков

20

4. Controller — реализует алгоритм управления последовательностью вычислений.

5. Neuron schema — схема, реализующая логику функционирования нейрона.

1. Router — коммуницирует с соседними нейроядрами, принимая и маршрутизируя спайки.

2. Scheduler — упорядочивает по времени и по входам (аксонам) приходящие спайки.

3. Core SRAM — хранилище параметров функционирования нейронов ядра.


Нейроядро (функционирование)

Ядро моделирует 2n нейронов и 2m входов (аксонов).

Когда спайк достигает целевого ядра, маршрутизатор направляет его планировщику (1), где спайк буферизируется.

В каждый такт планировщик передает контроллеру все спайки, соответствующие по порядку текущему такту (2). Получив спайки, контролер организует последовательность вычислений для 2n нейронов по одному (один за другим).

В течение одного такта обсчитываются все 2n нейронов.

21

AER представление спайка в системе


Модели применения нейрочипа “Алтай”

1. Обработка изображений (в том числе кадров видеоряда) в различных

спектрах (например, в видимом, тепловом и т.п.) с целью обнаружения,

выделения и категоризации значимых объектов.

2. Обработка акустических (в том числе и гидроакустических) сигналов

с целью выделения интересующих акустических паттернов.

3. Обработка физиологических сигналов. Например, анализ

электроэнцефалограммы с целью организации эргономичного

взаимодействия человека с техническими устройствами.

22


Применения нейрочипа “Алтай” в РТК

В системе управления

● Для выполнение нейросетевых "алгоритмов" управления РТС.

● Для обработки физиологических сигналов в ЧМИ.

● Для обработки в реальном времени гетерогенной информации от бортовых датчиков, агрегатов и узлов.

● Для детектирование отказов оборудования на основе анализа потоков данных по бортовым каналам информационного обмена.

23

В системах технического зрения

Для анализа видеопотока (в разных спектральных диапазонах): поиск, выделение и идентификация объектов.

В системе навигации

Как спецвычислитель в мультисенсорной навигационной системе.


Применения нейрочипа “Алтай” в РТК

Нейроморфный чип "Алтай" следует рассматривать как один из кандидатов для решения неформализуемых или плохо

формализуемых задач с высоким быстродействием и низким энергопотреблением.

24

Недавние публикации подтверждают, что нет непреодолимых различий между DNN и нейроморфными архитектурами. Сверточные сети могут эффективно исполняться на нейроморфных структурах [S. Esser, ...Convolutional

Networks for Fast, Energy-Efficient Neuromorphic Computing, arXiv:1603.08270, 28 Mar 2016].


Области применения нейроморфных чипов

1. Суперкомпьютеры гибридной архитектуры.

2. Робототехнические и автономные системы. Системы технического зрения, навигации и автономного управления.

3. Обработка больших данных.

4. Кибербезопасность. Проактивное обнаружение новых угроз путем обнаружения аномалий и обобщения выявленных ранее атак.

5. Нейробиология. Моделирование мозга, исследование принципов его функционирования.

6. Смартфоны, носимые устройства, IoT-устройства. В качестве вспомогательного чипа для распознавания образов, голоса, обработки сенсорной информации.

25


Спасибо за внимание!

Вопросы?

26

Контактная информация:

[email protected]

http://motivnt.ru/

https://www.facebook.com/motivnt

mailto:[email protected]



http://motivnt.ru/

http://motivnt.ru/



Нейроморфный чип “Алтай” ориентированный на использование в РТК (ПСиЗУ 2016)

Technology