NeuralNetworks_intro

http://it-claim.ru http://blogs.it-claim.ru http://facebook.com/IT.CLAIM

Учебный курс «Интеллектуальные

системы»Филиппович Андрей Юрьевич

http://it-claim.ru/AI.htm

Естественные и искусственные нейронные сети

Модуль NN. «Введение в нейронные сети»

http://it-claim.ru/Education/Course/AI/Lections/Lections_ann.htm

Основная литератураМатериалы презентации основаны на публикации: Ф. Уоссермен. - Нейрокомпьютерная техника: Теория и практика // Издательство: Мир, 1992 - 240 с.

Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика // Издательство: Горячая Линия - Телеком, 2002 - 382 стр.

Г.Э. Яхъяева (? Ф. Уоссермен) Основы теории нейронных сетей - http://www.intuit.ru/department/ds/neuronnets/

Биологический нейрон 100.000.000.000+ нейронов в

теле человека Структурные элементы

нейрона:◦ Аскон◦ Дендриты◦ Синапс

Электрическия и химическая передача сигналов, нейромедиатры

Видео-ролики биологических нейронов

Нейрон - сов. фильм. http://

www.youtube.com/watch?v=PyTLGpvI1K0&feature=related

http://www.youtube.com/watch?v=0z4csd2kAeI&feature=watch_response

Синапс http://

www.youtube.com/watch?v=XR6Hw2PUazE&feature=related

По-украински http://

www.youtube.com/watch?v=tHHF_F2MJrQ&feature=related

Нейромедиаторы http://

www.youtube.com/watch?v=ZTF4u-GbB94&feature=related

Просто картинки http://www.youtube.com/watch?v=gaDZf

zWadKk&feature=related

Передача нейронного сигнала http://www.youtube.com/watch?v=UnEHc

WQIBps&feature=related

Импульс http://www.youtube.com/watch?v=wAlKM

YA-AXg&feature=endscreen&NR=1

Искусственный червяк ) http://www.youtube.com/watch?v=sNdd5

xLEFmc&feature=related

Генетические алгоритмы http://www.youtube.com/watch?

v=ejxfTy4lI6I&feature=related

Искусственный нейрон

X - множество входных сигналов

W – веса дендритов NET – результат суммирования

входных сигналов

Активационная функция нейрона

F – активационная функция OUT= F(NET) – выход нейрона Пороговая функция

◦ OUT = 1, если NET > T, OUT = 0, в остальных случаях

Сигмоидальная функция

Многослойные нейронные сети

Классификация нейронных сетей

По количеству слоев Однослойные и многослойные НСПо направлению распространения сигнала Сети прямого действия и рекуррентные

НСПо архитектуре, алгоритму обучения Перспетроны, Сети обратного

распространения, Карты Кохонена, Модели ART и др.

Однослойный персептрон

Особенности НС прямого действия Входы и выходы – бинарные значения

{0,1} Активационная функция – пороговая Все входные сигналы поступают на все

нейроны

Персептронная представляемость

Линейно-разделимые функции

Модель однослойного персептрона имеет ограничение, которое не позволяет обучить его некоторым функциям

Например, функции XOR

n 22n Число лин. разд. Ф-ций

1 4 42 16 143 256 1044 65536 18825 4,3х109 945726 1,8х1019 15 028 134

Персептронная представляемость

2-хслойные сети позволяют определить выпуклую область решения

3-хслойные сети могут реализовать любые функции

Алгоритм обучения персептрона

Алгоритмы обучения:◦ С учителем - обучающая выборка {(X, Y)}◦ Без учителя - обучающая выборка {X}

Шаг 1: Выбрать элемент обучающей выборки (Xi, Yi)◦ Шаг 1-1: Подать на вход НС вектор Xi и вычислить значение выхода NETi◦ Шаг 1-2: Сравнить значения NETi и Yi

Если NETi = Yi , то ничего не делаем Если NETi < Yi , то увеличить веса всех активных входов Если NETi > Yi , то уменьшить веса всех активных входов

Шаг 2: Выбирать следующий элемент обучающей выборки (i=i+1) пока не обработаны все элементы (i<=N)

Шаг 3: Проверить НС на правильность работы для всех элементов обучающей выборки.

Если все NETi = Yi, то закончить работу алгоритма Иначе перейти к шагу 1.

Алгоритм обучения персептрона

Дельта правило (правило Видроу-Хоффа): корректировка, применяемая к синаптическому весу нейрона, пропорциональна произведению сигнала ошибки на входной сигнал, его вызвавший.

δ = (T - Y). Δi = ηδxi, w(n+1) = w(n) + Δi,