Gliederung Geschichte - Praktische Informatikpi.informatik.uni-siegen.de/Mitarbeiter/berlik/lehre/ws0607/ci/ci8.pdf · Widrow-Hoﬀ Lernregel (auch: LMS-Regel) Widrow entwickelt daraus

Computational Intelligence

1 / 31

Gliederung

1 Kunstliche Neuronale NetzeGeschichteNaturliches NeuronKunstliches NeuronTypen von Neuronen

Dr. Stefan Berlik (Praktische Informatik)


. Kunstliche Neuronale Netze . Geschichte 3 / 31

Geschichte

1943 Warren McCulloch (Neurologe),Walter Pitts (Mathematiker)

A logical calculus of the ideas immanent in nervous activity, Bulletin ofMathematical Biophysics, 5:115-133.

Beschreibung neurologischer Netzwerke auf Basiseinfacher Neuronen (‘McCulloch-Pitts-Neuron’)

Idee

Ein einzelnes Neuron kann ausschließlich dieZustande aktiv oder inaktiv annehmenKomplexere Fahigkeiten (Berechnungkomplizierter Funktionen, Kreativitat,Bewusstsein) entstehen nur durch hochgradigeVernetzung der Neuronen

Betrachtung statischer Netzwerke: Kein Konzeptzur Anpassung des Netzwerks (insbesondere derGewichte)

Warren McCulloch(1898 - 1972)

Walter Pitts(1924 - 1969)




Geschichte

1949 Donald Olding Hebb (Psychologe)

Organization of Behaviour, Wiley, 1949.

Entwickelt das erste Konzept zur Lernfahigkeitkunstlicher Neuronen (Hebb’sche Lernregel)

Hebb’sche Lernregel bildet die Grundlage fur vielenachfolgende Lernregeln

Hebb’sche Lernregel (vereinfacht)

Aktiviert ein Neuronen wiederholt ein anderesNeuronen durch seine Ausgabe, verstarkt sichderen Verbindung

“Neurons that fire together, wire together”

→ Hebb’sches Lernen ist durch die Neurobiologiebestatigt worden

Donald Olding Hebb(1904 - 1985)




1951 Marvin Minsky (Mathematiker)

Theory of neural-analog reinforcement systems and its application to thebrain-model problem, Dissertation, Princeton University, Princeton, USA,1954.

’Vater der kunstlichen Intelligenz‘

Entwickelt 1951 den ersten NeurocomputerSNARK

Elektromechanische Realisierung40 Neuronen aus elektrischen RohrenGewichte aus Motoren und PotentiometernAutomatische Adaption der GewichteModelliert die Suche einer Ratte in einemLabyrinth nach FutterNie praktisch eingesetzt

Marvin Minsky(1927 - )




1957 Frank Rosenblatt (Psychologe und Informatiker, 1928 - 1969)

Principles of Neurodynamics, Spartan Books, New York, 1959.A comparison of several perceptron models, Self-Organizing Systems,Spartan Books, New York, 1962.

Entwickelt mit Charles Wightman den Mark I Perceptron

Perzeptron als GrundmodellRealisierung variabler Gewichte512 durch Motoren gesteuerte PotentiometerOptische Erkennung von Mustern (Buchstaben)20 x 20 Zellen großer Bildsensor

Formuliert und beweist das Perzeptron Konvergenz Theorem




1957 Bernard Widrow (Elektrotechniker)Marcian E. Hoff (Elektrotechniker)

Adaptive switching circuits, in 1960 IRE Western Electric Show andConvention Record, Part 4, pages 96-104, August 23, 1960.

Entwicklung des Adaline (Adaptive Linear Element)

kunstliches Neuron, ahnlich dem Perzeptronerkennt geometrische Muster4 x 4 Eingabeeinheiten4 x 4 Potentiometer fur die GewichteSchalter um die Soll-Ausgabe auf -1 oder 1 zu setzenAdaptation als GrundideeWidrow-Hoff Lernregel (auch: LMS-Regel)

Widrow entwickelt daraus den Memistor

Memistor-Corporation wird die ersteNeuro-Computing Firma

Hoff wechselt zu Intel und gilt als’Vater der

Mikroprozessoren‘

Bernard Widrow(1929 - )

Marcian E. Hoff(1937 - )




1969 Seymour A. Papert (Mathematiker)

Perceptrons, Seymour A. Papert und Marvin Minsky, MIT Press, 1969.

In der Arbeit Perceptrons analysieren sie dasPerzeptron mathematisch und zeigen, dass dasModell des Perzeptrons viele wichtige Problemenicht reprasentieren kann (XOR-Problem)

Fuhrt dazu, dass in dem Gebiet in den nachsten15 Jahren fast keine Forschungsgelder mehr bereitgestellt werden, insbesondere keine Gelder derDARPA (Defense Advanced Research ProjectsAgency)

Seymour A. Papert(1928 - )




1972 Teuvo Kohonen (Ingenieur)

Correlation Matrix Memories, IEEE Trans. Computers, C-21, 353-359,1972.

Entwickelt Modell des linearen Assoziierers

Basierend auf dem Multiple AdalineLineare Aktivierungs- und SchwellwertfunktionAusgaben aus dem Intervall [-1,1]

Modell wird durch James A. Anderson ausneurophysiologischer Sicht bestatigt

Teuvo Kohonen(1934 - )




1973 Christoph von der Malsburg (Neurowissenschaftler)

Self-organization of orientation sensitive cells in the striate cortex,Kybernetik 14, 85-100, 1973.

Erste, grundlegende Arbeiten uberSelbstorganisation im Zusammenhang mitkunstlichen neuronalen Netzen

Ubertragung der Forschung uber topologischgeordnete Gehirnbereiche auf selbst-organisierendeKarten

D. J. Willshaw und C. von der Malsburg, Howpatterned neural connections can be set up byself-organization, Proc. Roy. Soc. London B, vol.194, pp. 431–445, 1976.

Christoph von der Malsburg(1942 - )

David J. Willshaw




1974 Paul Werbos (Mathematiker, Okonom, Politologe)

Beyond Regression: New Tools for Prediction and Analysis in theBehavioral Sciences, Dissertation, Committee on Applied Mathematics,Harvard University, Cambridge, MA, 1974.

Dissertation enthalt die Herleitung desBackpropagation-Verfahrens

Anpassung von GewichtenRichtung: Von den Ausgangen uber versteckteSchichten zu den EingangenEines der bedeutensten Lernverfahren im Bereichder kunstlichen neuronalen Netze

Spatere Verfeinerung durch Rumelhart undMcClelland fuhrte zum Durchbruch desBackpropagation-Verfahrens

Paul Werbos




1974 Stephen Grossberg (Kognitionswissenschaftler & Mathematiker)

Mathematische Analysen unterschiedlicher Typenkunstlicher neuronaler Netze

Einfuhrung sigmoider Aktivierungsfunktionen

Untersuchung, ob weiteres Lernen bereits gelernteMuster vergessen lasst

Berucksichtigung von Kurz- undLangzeitgedachtnis kunstlicher neuronaler Netze

Begrundet Adaptive Resonanztheorie

ART-1, ART-2, ART-3ARTMAPFuzzyART

Stephen Grossberg




1982 John J. Hopfield (Physiker)

Neural Networks and physical systems with emergent collectivecomputational abilities, Proc. Ntl. Acad. Sci. USA, 1982, Vol. 79,pp.2554-2558, 1982.

Wendet ising-spin Theorie auf binare neuronaleNetze an (

’Hopfield-Netze‘)

Erweiterung auf kontinuierliche neuronale Netze

Untersuchungen an diesen Netzen basierend aufEnergiefunktionen

John Joseph Hopfield (1933 - )



. Kunstliche Neuronale Netze . Naturliches Neuron 14 / 31

Das NeuronAufbau

[Quelle: Wikipedia]

1 Zellkern2 Dendriten3 Zellkorper4 Axon5 Myelinschicht6 Schwansche Zelle7 Ranviersche Schnurung8 Synapsen

Funktionen

Aufnahme von Informationen

mittels Dendritenstark verzweigt, zu mehrerentausend anderen Neuronen

Verarbeitung von Informationen

Im Zellkorper (Soma)Aggregation von Information

Weiterleitung von Informationen

mittels Axon & Synapsenverlustfreie Weiterleitung desAktionspotentialsAusschuttung vonBotenstoffen(Neurotransmitter)



. Kunstliche Neuronale Netze . Naturliches Neuron 15 / 31

Ein Vergleich

Kunstliches neuronales Netz Menschliches Gehirn

geringere Anzahl Neuronen(101 . . . 104)

hohe Anzahl Neuronen(ca. 1011)

geringer Verbindungsgradhoher Verbindungsgrad(1014 Synapsen)

ausschließlich das Gewicht be-stimmt die Starke der Synapse

verschiedene Neurotransmitter be-stimmen die Starke der Synapse

Amplitudenmodulation (numeri-scher Informationsubertragung)

Frequenzmodulation (impulsko-dierte Informationsubertragung)

zeitliche Vorgange in den Nerven-bahnen werden vernachlassigt

verzogerte Aktivierung



. Kunstliche Neuronale Netze . Kunstliches Neuron 16 / 31

Vom naturlichen zum kunstlichen Neuron

Charakteristika des Vorbilds

Einfache Grundstruktur

Aufnahme von ReizenSummierungAktivierung bei Erreichen des SchwellwertesAktivierendes oder hemmendes Resultat

Komplexitat durch Vernetzung

Alles-oder-Nichts-Prinzip

Transfer

Einfache Grundstruktur

EingangeSummierungAktivierung bei Erreichen des Schwellwertes

Komplexitat durch Vernetzung

Binare Daten

E1

En

E2

...

A

AS




Kunstliches Neuron

Definition

Ein kunstliche Neuron (kurz Neuron) ist definiert durch das TupelN = (~x , ~w , fa, z , fo , θ), wobei

~x = (x1, . . . , xn)T , ~x ∈ X n den Eingabevektor,

~w = (w1, . . . ,wn)T , ~w ∈ Wn den Gewichtsvektor,

fa : X n ×Wn → R die Aktivierungsfunktion,

z ∈ R den Aktivierungszustand,

fo : R → Y die Ausgabefunktion und

θ ∈ R den Schwellwert

bezeichnen.




Kunstliches Neuron – AnmerkungenGrafische Darstellung

x1

xn

x2

...y

w1

w2

wn q

z fa

fo

Eingabevektor ~x = (x1, . . . , xn)T

I.d.R. reellwertig, ~x ∈ Rn

Allgemein wird zwischen kontinuierlichen und diskretenWertebereichen unterschieden

kontinuierlich

unbeschrankt: Rintervallwertig: [0, 1], [−1, 1]

diskret

binar: {0,1}, {-1,1}mehrwertig: {-1,0,1}, Z




Kunstliches Neuron – Anmerkungen IIGewichte ~w = (w1, . . . ,wn)

T

I.d.R. reellwertig, ~w ∈ Rn

Ggf. auch bipolar (-1 oder 1) oder konstant (1)

Schwellwert θ ∈ RWird in den meisten der folgenden Betrachtungen durch einen

’Trick‘ in einen weiteren Eingang gewandelt

Aktivierungsfunktion fa : X n ×Wn → RErlaubt nichtlineares Verhalten des Neurons

Haufig genutzt

Unipolare SchwellwertfunktionBipolare SchwellwertfunktionLinear bis SattigungSinus bis SattigungLogistische FunktionTangens Hyperbolicus




Kunstliches Neuron – Anmerkungen III

Interner Zustand z ∈ RHangt vom alten Zustand und der Veranderung durch dieAktivierungsfunktion ab, bspw. z (neu) = z (alt) + fa(~x , ~w)

Wird haufig nicht angegeben

Viele Neuronen besitzen keine Funktion, mit der der interne Zustandausgegeben werden konnte

Ausgabefunktion fo : R → YBerechnet die Ausgabe des Neurons basierend auf dem Ergebnis derAktivierungsfunktion

Haufig identisch mit der Aktivierungsfunktion

Insbesondere Ausgabeneuronen besitzen haufig abweichendeAusgabefunktionen




AktivierungsfunktionenUnipolare Schwellwertfunktion

H(x) =

{0 falls x < 0

1 sonst

-4 -2 2 4x

0.2

0.4

0.6

0.8

1

HHxL

Bipolare Schwellwertfunktion

sign(x) =

{−1 falls x < 0

1 sonst

Hinweis: sign(0) = +1 als typische Konventionobwohl eigentlich sign(0) = 0

-4 -2 2 4x

-1

-0.5

0.5

1

signHxL

Linear bis Sattigung

lins(x) =

0 falls x < a

s

s · x − a falls as ≤ x ≤ 1+a

s

1 sonst-4 -2 2 4

x

0.2

0.4

0.6

0.8

1

linsHxL




AktivierungsfunktionenSinus bis Sattigung

sins(x) =

−1 falls x < −π

2

sin(x) falls − π2 ≤ x ≤ π

2

1 sonst-4 -2 2 4

x

-1

-0.5

0.5

1

sinsHxL

Logistische Funktion

lgd(x) = 11+e−x

-4 -2 2 4x

0.2

0.4

0.6

0.8

1

lgdHxL

Tangens Hyperbolicus

tanh(x) = ex−e−x

ex+e−x-4 -2 2 4

x

-1

-0.5

0.5

1

tanhHxL




Signalfluss im Neuron

x1

xn

x2

...

w1

w2

wn

-1

q

zfa fo

y

Zwei Klassen werden unterschieden

Synaptischer Signalfluss

Lineare Verknupfung→ Multiplikation von Eingangen mit Gewichten

Aktivierender Signalfluss

Nichtlineare Verknupfung→ Aktivierungsfunktion fa und Ausgabefunktion fo



. Kunstliche Neuronale Netze . Typen von Neuronen 24 / 31

Uberblick

Im Folgenden werden verschiedene Arten von Neuronen betrachtet, diesich bezuglich

ihres Eingangsverhaltens

und der Behandlung ihre Gewichte

unterschieden.

Betrachtete Neuronen

McCulloch-Pitts Neuron

Hebb Neuron

Perzeptron




McCulloch-Pitts Neuron

Der Neurologe Warren McCulloch und derMathematiker Walter Pitts entwickeln ab 1943Modelle einer biologischen Nervenzelle, dasMcCulloch-Pitts Neuron (MCPN)

Charakteristika

n Eingange

Keine expliziten Gewichte (alle Eingange sindkonstant mit 1 bzw. -1 oder 1 gewichtet)

Reeller Schwellwert θ

Nichtlineare Aktivierungsfunktion: H(·)Ausgabefunktion: Identitat id(·)Binare Ausgabe (0 oder 1)

Keine Lernregel

Warren McCulloch(1898 - 1972)

Walter Pitts(1924 - 1969)




Typen des McCulloch-Pitts Neurons

EingangsverhaltenGemaß ihres Eingangsverhaltens werden drei Typen von MCPNsunterschieden

Typ 1: Unipolares Eingangsverhalten (0 oder 1)Eingange sind konstant mit 1 gewichtetRealisierbar: Konstanten (0 oder 1), OR, AND, Schwellwerte

Typ 2: Bipolares Eingangsverhalten (-1 oder 1)Eingange sind konstant mit -1 oder 1 gewichtetRealisierbar: Wie Typ 1, zusatzlich NOT→ D.h. Typ 2 stellt vollstandigen Bausteinsatz dar

Typ 3: In- bzw. exhibitorisches Eingangsverhalten (-1 oder 1)Eingange sind konstant mit -1 oder 1 gewichtetRealisierbar: Wie Typ 2→ entspricht biologischem Vorbild des Neurons




Funktionsweise des (Typ 3) McCulloch-Pitts Neurons

Ein McCulloch-Pitts Neuron mit n erregenden und m hemmendenLeitungen fuhrt folgende Berechnung durch

Ist m ≥ 0 und eines der hemmenden Signale 1, ist das Neurongehemmt und gibt 0 aus.

Andernfalls summiert das Neuron die Eingangssignale x1, . . . , xn undvergleicht sie mit dem Schwellwert θ. Ist die Erregung großer als derSchwellwert, wird 1 ausgegeben, ansonsten 0.




Beipiele von McCulloch-Pitts Neuronen

AND

x1 AND x2

Neuron:

x1

x2

2

OR

x1 OR x2

Neuron:

x1

x2

1

NOT

NOT x1

Neuron:

x1 0




Hebb Neuron

Charakteristika

n unipolare Eingange (0 oder 1)

n variable Gewichte


Interner Zustand entspricht gewichteter Summe der Eingangeabzuglich des Schwellwerts

Nichtlineare Aktivierungsfunktion: H(·)Ausgabefunktion: Identitat id(·)Binare Ausgabe (0 oder 1)

Besonderheit

Variable Gewichte erlauben Adaption des Neurons

Einfachste Adaption: Hebb’sche Lernregel




Perzeptron

Der Psychologe und Informatiker Frank Rosenblatt (1928 - 1969)entwickelte 1957 das Konzept des Perzeptrons.

Charakteristika

n reellwertige Eingange ~x ∈ Rn

n reellwertige, variable Gewichte ~w ∈ Rn


Nichtlineare Aktivierungsfunktion:

fa(~x , ~w) = sign(~wT~x − θ

)= sign

(n∑

i=1

wixi − θ

)

Ausgabefunktion: Identitat id(·)Demzufolge bipolare Ausgabe (aktiviert (1) oder nicht aktiviert (-1))




Signalfluss im PerzeptronMit explizitem Schwellwert

x1

xn

x2

...

w1

w2

wn

-1

q

zfa fo

y

Aquivalenter Signalfluss mit implizitem Schwellwert

x1

xn

x2

...

w1

w2

wn

x =-10

zfa fo

y

w =0 q


Gliederung Geschichte - Praktische Informatikpi.informatik.uni-siegen.de/Mitarbeiter/berlik/lehre/ws0607/ci/ci8.pdf · Widrow-Hoﬀ Lernregel (auch: LMS-Regel) Widrow entwickelt daraus

Documents