http://it-claim.ru http://blogs.it-claim.ru http://facebook.com/IT.CLAIM
Учебный курс «Интеллектуальные
системы»Филиппович Андрей Юрьевич
http://it-claim.ru/AI.htm
Естественные и искусственные нейронные сети
Модуль NN. «Введение в нейронные сети»
http://it-claim.ru/Education/Course/AI/Lections/Lections_ann.htm
Основная литератураМатериалы презентации основаны на публикации: Ф. Уоссермен. - Нейрокомпьютерная техника: Теория и практика // Издательство: Мир, 1992 - 240 с.
Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика // Издательство: Горячая Линия - Телеком, 2002 - 382 стр.
Г.Э. Яхъяева (? Ф. Уоссермен) Основы теории нейронных сетей - http://www.intuit.ru/department/ds/neuronnets/
Биологический нейрон 100.000.000.000+ нейронов в
теле человека Структурные элементы
нейрона:◦ Аскон◦ Дендриты◦ Синапс
Электрическия и химическая передача сигналов, нейромедиатры
Видео-ролики биологических нейронов
Нейрон - сов. фильм. http://
www.youtube.com/watch?v=PyTLGpvI1K0&feature=related
http://www.youtube.com/watch?v=0z4csd2kAeI&feature=watch_response
Синапс http://
www.youtube.com/watch?v=XR6Hw2PUazE&feature=related
По-украински http://
www.youtube.com/watch?v=tHHF_F2MJrQ&feature=related
Нейромедиаторы http://
www.youtube.com/watch?v=ZTF4u-GbB94&feature=related
Просто картинки http://www.youtube.com/watch?v=gaDZf
zWadKk&feature=related
Передача нейронного сигнала http://www.youtube.com/watch?v=UnEHc
WQIBps&feature=related
Импульс http://www.youtube.com/watch?v=wAlKM
YA-AXg&feature=endscreen&NR=1
Искусственный червяк ) http://www.youtube.com/watch?v=sNdd5
xLEFmc&feature=related
Генетические алгоритмы http://www.youtube.com/watch?
v=ejxfTy4lI6I&feature=related
Искусственный нейрон
X - множество входных сигналов
W – веса дендритов NET – результат суммирования
входных сигналов
Активационная функция нейрона
F – активационная функция OUT= F(NET) – выход нейрона Пороговая функция
◦ OUT = 1, если NET > T, OUT = 0, в остальных случаях
Сигмоидальная функция
Многослойные нейронные сети
Классификация нейронных сетей
По количеству слоев Однослойные и многослойные НСПо направлению распространения сигнала Сети прямого действия и рекуррентные
НСПо архитектуре, алгоритму обучения Перспетроны, Сети обратного
распространения, Карты Кохонена, Модели ART и др.
Однослойный персептрон
Особенности НС прямого действия Входы и выходы – бинарные значения
{0,1} Активационная функция – пороговая Все входные сигналы поступают на все
нейроны
Персептронная представляемость
Линейно-разделимые функции
Модель однослойного персептрона имеет ограничение, которое не позволяет обучить его некоторым функциям
Например, функции XOR
n 22n Число лин. разд. Ф-ций
1 4 42 16 143 256 1044 65536 18825 4,3х109 945726 1,8х1019 15 028 134
Персептронная представляемость
2-хслойные сети позволяют определить выпуклую область решения
3-хслойные сети могут реализовать любые функции
Алгоритм обучения персептрона
Алгоритмы обучения:◦ С учителем - обучающая выборка {(X, Y)}◦ Без учителя - обучающая выборка {X}
Шаг 1: Выбрать элемент обучающей выборки (Xi, Yi)◦ Шаг 1-1: Подать на вход НС вектор Xi и вычислить значение выхода NETi◦ Шаг 1-2: Сравнить значения NETi и Yi
Если NETi = Yi , то ничего не делаем Если NETi < Yi , то увеличить веса всех активных входов Если NETi > Yi , то уменьшить веса всех активных входов
Шаг 2: Выбирать следующий элемент обучающей выборки (i=i+1) пока не обработаны все элементы (i<=N)
Шаг 3: Проверить НС на правильность работы для всех элементов обучающей выборки.
Если все NETi = Yi, то закончить работу алгоритма Иначе перейти к шагу 1.
Алгоритм обучения персептрона
Дельта правило (правило Видроу-Хоффа): корректировка, применяемая к синаптическому весу нейрона, пропорциональна произведению сигнала ошибки на входной сигнал, его вызвавший.
δ = (T - Y). Δi = ηδxi, w(n+1) = w(n) + Δi,