Jurusan Teknik Informatika –Universitas Widyatama Latar ... · PDF file– Kemampuan melakukan pengenalan meskipun tidak tahu algoritma yang digunakan. ... – hubungan antar...

5/9/2012

IF-UTAMA 1

Jurusan Teknik Informatika – Universitas Widyatama

IF-UTAMA 1IF-UTAMA 1

Learning (Neural Network)

Pertemuan : 13

Dosen Pembina :

Sriyani Violina

Danang Junaedi

Latar Belakang

• Neural Network (Jaringan syaraf tiruan) diilhami oleh jaringan

syaraf biologi khususnya otak manusia.

– Kemampuan manusia dalam memproses informasi, mengenal

wajah, tulisan, dsb.

– Kemampuan melakukan pengenalan meskipun tidak tahu

algoritma yang digunakan.

– Proses pengenalan melalui penginderaan berpusat pada otak

sehingga menarik untuk mengkaji struktur otak manusia

• Otak terdiri neuron-neuron dan sinapsis (penghubung) � bekerja

berdasarkan impuls/sinyal

• Manusia memiliki 1012 neuron dan 6.1018 sinapsis� mengenali

pola, melakukan perhitungan, mengontrol organ-organ tubuh

• Mempunyai kemampuan membentuk sendiri pola berdasarkan

pengalaman.IF-UTAMA 2

Pendahuluan(2)

• Dipercayai bahwa

kekuatan komputasi

otak terletak pada

– hubungan antar sel-sel

syaraf

– hierarchical

organization

– firing characteristics

– banyaknya jumlah

hubungan

3IF-UTAMA

Struktur Jaringan pada Otak

• Neuron adalah satuan unit pemroses terkecil pada otak

• Bentuk standard ini mungkin dikemudian hari akan berubah

• Jaringan otak manusia tersusun tidak kurang dari 1013 buah neuron yang masing-masing terhubung oleh sekitar 1015 buah dendrite

• Fungsi dendrite adalah sebagai penyampai sinyal dari neuron tersebut ke neuron yang terhubung dengannya

• Sebagai keluaran, setiap neuron memiliki axon, sedangkan bagian penerima sinyal disebut synapse

• Sebuah neuron memiliki 1000-10.000 synapse

• Penjelasan lebih rinci tentang hal ini dapat diperoleh pada disiplin ilmu biology molecular

• Secara umum jaringan saraf terbentuk dari jutaan (bahkan lebih) struktur dasar neuron yang terinterkoneksi dan terintegrasi antara satu dengan yang lain sehingga dapat melaksanakan aktifitas secara teratur dan terus menerus sesuai dengan kebutuhan

4IF-UTAMA

5/9/2012

IF-UTAMA 2

Struktur Jaringan pada Otak

5IF-UTAMA

Synapse

6IF-UTAMA

A Neuron

© 2000 John Wiley & Sons, Inc.

7IF-UTAMA

Struktur Jaringan pada Otak

• Dendrit menerima sinyal dari neuron lain

– Sinyal berupa impulse elekrik dikirim melalui celah

sinaptik

– Sinyal dapat diperkuat/diperlemah di celah sinaptik

• Soma menjumlahkan semua sinyal-sinyal yang masuk

– Jika kuat dan melebihi batas akan diteruskan ke sel lain

melalui axon

8IF-UTAMA

5/9/2012

IF-UTAMA 3

Neural biologi

• Neural biologi merupakan sistem yang fault

tolerant :

– Manusia dapat mengenali sinyal input yang agak

berbeda dari yang pernah diterima sebelumnya.

– Otak manusia tetap mampu bekerja meskipun

beberapa neuronnya tidak mampu bekerja dengan

baik

• Sebuah neuron rusak, neuron lain dapat dilatih

menggantikan fungsi sel yang rusak.

9IF-UTAMA

Neural Network

• Suatu sistem pemrosesan informasi yang mencoba menirukinerja otak manusia

• Merupakan generalisasi model matematis dengan asumsi:

– Pemrosesan informasi terjadi pada elemen sederhana(=neuron)

– Sinyal dikirimkan diantara neuron-neuron melalui penghubung(=dendrit dan akson)

– Penghubung antar elemen memiliki bobot yang akan menambah ataumengurangi sinyal

– Untuk menentukan output,

setiap neuron memiliki fungsi

aktivasi (biasanya non linier)

yang dikenakan pada semua

input

– Besar output akan

dibandingkan dengan

threshold10IF-UTAMA

Otak Manusia Neural Network

Soma Node

dendrites Input/Masukan

Axon Output/Keluaran

synapsis Weight/Bobot

Milyaran Neuron Ratusan Neuron

Struktur Dasar Neural Network

IF-UTAMA 11

Definisi

• Neural Network (Jaringan Saraf Tiruan) adalah

– sistem pengolahan informasi yang karakteristik kinerjanya menyerupai jaringan saraf biologis.

merupakan generalisasi model matematis

saraf biologis.

– suatu representasi buatan dari otak manusia yang mencoba mensimulasikan proses pembelajaran pada otak manusia.

menggunakan program komputer

• Neural Network disebut juga: brain metaphor, computational neuroscience, parallel distributed processing

12IF-UTAMA

5/9/2012

IF-UTAMA 4

Neural Network

• Neural Network dapat belajar dari pengalaman!

• Biasanya berhubungan dengan angka (numerik) sehingga data yang tidak numerik harus dibuat ke numerik

• Tidak ada rumus yang tetap (fixed) sehingga disebut dengan free-estimator!

• Neural Network disebut black box atau tidak transparan karena tidak mampu menjelaskan bagaimana suatu hasil didapatkan!

• Neural Network mampu menyelesaikan permasalahan yang tidak terstruktur dan sulit didefinisikan!

13IF-UTAMA

Kelebihan & KekuranganKelebihan

• Mampu mengakuisisipengetahuan walau tidak adakepastian

• Mampu melakukangeneralisasi dan ekstraksi darisuatu pola data tertentu

• Neural Network dapatmenciptakan suatu polapengetahuan melaluipengaturan diri ataukemampuan belajar (self organizing)

• Memiliki fault tolerance, gangguan dapat dianggapsebagai noise saja

• Kemampuan perhitungansecara paralel sehingga proseslebih singkat

Kekurangan

• Kurang mampu untuk

melakukan operasi operasi

numerik dengan presisi tinggi

• Kurang mampu melakukan

operasi algoritma aritmatik,

operasi logika dan simbolis

• Lamanya proses training yang

mungkin terjadi dalam waktu

yang sangat lama untuk

jumlah data yang besar

IF-UTAMA 14

Kemampuan Neural Network

• Klasifikasi: memilih suatu input data ke dalam

kategori tertentu yang sudah ditetapkan

• Asosiasi: menggambarkan suatu obyek secara

keseluruhan hanya dengan bagian dari obyek lain

• Self organizing: kemampuan mengolah data-data

input tanpa harus mempunyai target

• Optimasi: menemukan suatu jawaban terbaik

sehingga mampu meminimalisasi fungsi biaya

15IF-UTAMA

Contoh Aplikasi

• Pengenalan pola (pattern recognition)– Huruf, tanda tangan, suara, gambar yang sudah sedikit

berubah (mengandung noise)

– Identifikasi pola saham

– Pendeteksian uang palsu, kanker

• Signal Processing– Menekan noise pada saluran telepon

• Peramalan– Peramalan saham

• Autopilot dan simulasi

• Kendali otomatis otomotif

16IF-UTAMA

5/9/2012

IF-UTAMA 5

Istilah dalam Neural Network

• Neuron: sel syaraf tiruan yang merupakan elemen pengolah Neural Network

• Jaringan: bentuk arsitektur Neural Network, kumpulan neuron yang saling berhubungan dan membentuk lapisan

• Input: sebuah nilai input yang akan diproses menjadi nilai output

• Output: solusi dari nilai input

• Hidden layer: lapisan yang tidak terkoneksi secara langsung denganlapisan input atau output, memperluas kemampuan Neural Network

• Bobot: nilai matematis dari sebuah koneksi antar neuron

• Fungsi aktivasi: fungsi yang digunakan untuk mengupdate nilai-nilaibobot per-iterasi dari semua nilai input.

– Fungsi aktivasi sederhana adalah mengakalikan input denganbobotnya dan kemudian menjumlahkannya (disebut penjumlahansigma)

– Berbentuk linier atau tidak linier, dan sigmoid

• Paradigma pembelajaran: bentuk pembelajaran, supervised learning, atau unsupervised learning

17IF-UTAMA

Karakteristik Jaringan Saraf Tiruan

• Arsitektur, merupakan pola hubungan antarsel-sel neuron.

• Algoritma pelatihan/pembelajaran, merupakan metoda penentuan bobot padasambungan/hubungan.

• Fungsi Aktivasi, merupakan suatu fungsiyang digunakan untuk memproses sehinggadihasilkan sinyal keluaran neuron.

18IF-UTAMA

Arsitektur Jaringan

• Single-Layered

Feedforward Networks

� Neurons are organized

in layers

� “Single-layer” refers to

output neurons

� Source nodes supply to

output neurons but not

vice versa

� Network is

feedforward or acyclic

input layer of

source nodes

output layer of

neurons

19IF-UTAMA

Arsitektur Jaringan

• Multilayer Feedforward Networks– One or more hidden layers

– Hidden neurons enable extractions of higher-order statistic

– Network acquires global perspective due to extra set of synaptic connections and neural interactions

Input layer of

source nodes

Layer of hidden

neurons

Layer of output

neurons

7-4-2 fully connected network:

• 7 source nodes

• 4 hidden neurons

• 2 output neurons

20IF-UTAMA

5/9/2012

IF-UTAMA 6

Arsitektur Jaringan

• Recurrent Networks

– At least one feedback loop

– Feedback loops affect learning capability and

performance of the network

z-

1

z-

1

z-

1

z-

1Unit-delay

operators

Inputs

Outp

uts

21IF-UTAMA

Pengelompokkan Neural Network

• Neural Network Feed Forward

– Tidak mempunyai loop

– Contoh: single layer perceptron, mutilayer perceptron,

radial basis function

• Neural Network Feed Backward (Recurrent)

– Memiliki loop, lapisan output akan memberi input lagi

bagi lapisan input

– Contoh: competitive networks, kohonen, hopfield, ART

22IF-UTAMA

Paradigma pembelajaran

• Supervised Learning– Kumpulan input berusaha membentuk target output yang sudah

diketahui sebelumnya

– Perbedaan antara output yang masih salah dengan output yang diharapkan harus sekecil mungkin

– Biasanya lebih baik daripada unsupervised

– Kelemahan: pertumbuhan waktu komputasi eksponensial, data banyak berarti semakin lambat

• Unsupervised Learning– Neural Network mengorganisasikan dirinya untuk membentuk

vektor-vektor input yang serupa tanpa menggunakan data ataucontoh-contoh pelatihan, biasanya ke dalam suatukategori/kelompok-kelompok tertentu

• Hibrida Learning– Gabungan antara unsupervised dan supervised

• Reinforcement Learning

23IF-UTAMA

Algoritma Belajar

• Algoritma Terbimbing (Supervised Learning)– ada vektor target

– klasifikasi, pattern association

– Algoritma Hebb, Perceptron, Backpropagation, dll

• Tak Terbimbing (Unsupervised Learning)

– tidak ada vektor target

– Clustering

– Kohonen, dll

24IF-UTAMA

5/9/2012

IF-UTAMA 7

Algoritma Pembelajaran Umum

• Dimasukkan n data pelatihan

• Inisialisasi bobot-bobot jaringan, set i = 1

• Masukkan contoh ke-i ke dalam input

• Cari tingkat aktivasi unit output menggunakanalgoritma yang ditetapkan

– If memenuhi kriteria output then exit

– Else:

– Update bobot2 menggunakan fungsi galat error, Bobotbaru = bobot lama + delta

• If i=n then

– Reset� i=1,

– else i=i+1

25IF-UTAMA

Fungsi Aktivasi

26IF-UTAMA

Fungsi Aktivasi

• Fungsi undak biner (hard limit)

• Fungsi undak biner (threshold)

θθθθ

27IF-UTAMA

Fungsi Aktivasi

• Fungsi bipolar

• Fungsi bipolar dengan threshold

28IF-UTAMA

5/9/2012

IF-UTAMA 8

Fungsi Aktivasi

• Fungsi Linier (identitas)

29IF-UTAMA

Fungsi Aktivasi

• Fungsi saturating linear dirumuskan sebagai:

30IF-UTAMA

Fungsi Aktivasi

• Fungsi sigmoid biner dirumuskan sebagai:

31IF-UTAMA

Fungsi Aktivasi

• Fungsi sigmoid bipolar dirumuskan sebagai:

32IF-UTAMA

5/9/2012

IF-UTAMA 9

NEURAL NETWORKS AS

DIRECTED GRAPHS

• Neural networks maybe represented as directed

graphs:

– Synaptic links

(linier I/O)

– Activation links

(nonlinier I/O)

– Synaptic convergence

– Synaptic divergence

wkj

xjyk= wkj xj

( )•ϕxj

( )xy jkϕ=

yk=yi + yj

yi

yj

xj

xj

xj

33IF-UTAMA

NEURAL NETWORKS AS

DIRECTED GRAPHS

• Architectural graph: partially complete

directed graph

Output

yk

x0 =+1

xm

x2

x1

.

.

.

34IF-UTAMA

FEEDBACK

• Output of a system influences some of the

input applied to the system

• One or more closed paths of signal

transmission around the system

• Feedback plays an important role in

recurrent networks

35IF-UTAMA

FEEDBACK

• Sample single-loop feedback system

• Output signal yk(n) is an infinite weighted summation of present and past samples of input signal xj(n)

IF-UTAMA 36

∑∞

=

+−=

0

1)()(

lj

l

klnn xwy )( lnx j

−

x’j (n)xj(n) yk(n)

w

z-1

w is fixed weight

z-1 is unit-delay operator

is sample of input

signal delayed by l time units

5/9/2012

IF-UTAMA 10

Neural Network dan Aplikasi

• Klasifikasi: ADALINE, Backpropagation

• Pengenalan Pola: ART, Backpropagation

• Peramalan: ADALINE, MADALINE,

Backpropagation

• Optimasi: ADALINE, Hopfield, Boltzman,

Backpropagation

37IF-UTAMA

Konsep Dasar Artificial Neural

Computing

Processing Unit

Linear Threshold Unit

input

x1

x2

x3

bias

w1

w2

w3

wb

1 if x1*w1 + x2*w2 + x3*w3 + bias * wb > 0

0 if x1*w1 + x2*w2 + x3*w3 + bias * wb <= 0

38IF-UTAMA

Artificial Neuron Model

39IF-UTAMA

• Neuronj menghitung tingkat aktivasinya :

• Dengan f adalah satu dari beberapa fungsi aktivasi yang ada

Model sel syaraf (dengan menyertakan

threshold)

40IF-UTAMA

5/9/2012

IF-UTAMA 11

Model sel syaraf (dengan menyertakan

nilai bias)

41IF-UTAMA

McCulloch Pitts

• Fungsi aktivasi biner

• Besar bobotnya sama

• Memiliki threshold yang sama

42IF-UTAMA

The first Neural Networks

X1 X2 Y

0 0 0

0 1 0

1 0 0

1 1 1

X1

X2

Y

1

1Threshold=2

Fungsi ANDAND

43IF-UTAMA

Problem “AND”

X1 X2 net Y(1 jika net>=2, 0 jika net<2)

1 1 1.1+1.1=2 1

1 0 1.1+0.1=1 0

0 1 0.1+1.1=1 0

0 0 0.1+0.1=0 0

Ternyata BERHASIL mengenali pola

X1

X2

Y

2

1

1

44IF-UTAMA

5/9/2012

IF-UTAMA 12

The first Neural Networks

X1 X2 Y

0 0 0

0 1 1

1 0 1

1 1 1

X1

X2

Y

2

2Threshold=2

Fungsi OROR

45IF-UTAMA

Problem “OR”

X1 X2 net Y(1 jika net>=1, 0 jika net<1)

1 1 1.1+1.1=2 1

1 0 1.1+0.1=1 1

0 1 0.1+1.1=1 1

0 0 0.1+0.1=0 0

Ternyata BERHASIL mengenali pola

X1

X2

Y

1

1

1

46IF-UTAMA

The first Neural Networks

X1 X2 Y

0 0 0

0 1 0

1 0 1

1 1 0

X1

X2

Y

2

-1Threshold=2

Fungsi AND-NOTAND-NOT

47IF-UTAMA

Problem “X1 and not(X2)”

X1 X2 net Y(1 jika net>=2, 0 jika net<2)

1 1 1.2+1.-1=1 0

1 0 1.2+0.-1=2 1

0 1 0.2+1.-1=-1 0

0 0 0.2+0.-1=0 0

Ternyata BERHASIL mengenali pola

X1

X2

Y

2

2

-1

48IF-UTAMA

5/9/2012

IF-UTAMA 13

The first Neural Networks

X1 X2 Y

0 0 0

0 1 1

1 0 1

1 1 0

X1 XOR X2 = (X1 AND NOT X2) OR (X2 AND NOT X1)

XOR

Z1

Z2

Y

2

2Threshold=2

Fungsi XOR

X1

X2

2

2

-1

-1

Threshold=2

49IF-UTAMA

Tabel

50IF-UTAMA

ARTIFICIAL INTELLIGENCE

AND NEURAL NETWORKS

Parameter Artificial

Intelligence

Neural Networks

Level of Explanation Symbolic

representation with sequential processing

Parallel distributed

processing (PDP)

Processing Style Sequential Parallel

Representational

Structure

Quasi-linguistic

structure

Poor

Summary Formal manipulation

of algorithm and data representation in top

down fashion

Parallel distributed

processing with natural ability to learn

in bottom up fashion51IF-UTAMA

IF-UTAMA 52

Referensi

1. Erlin Windia Ambarsari, ST.-. Pengenalan Jaringan Syaraf

Tiruan. Universitas Indraprasta PGRI

2. -.-. Pengantar Jaringan Syaraf Tiruan. [online] url:

http://repo.kuliah.uajy.ac.id/40/pertemuan_5_pengantar_J

ST.ppt, Tanggal Akses: 7 Mei 2011

3. Antonie.-. Jaringan Syaraf Tiruan.[online] url :

http://lecturer.ukdw.ac.id/anton/download/AI/Jaringan%20

Syaraf%20Tiruan.ppt, Tanggal Akses: 7 Mei 2011

4. Tom M. Mitchell. 1997. Machine Learning. Mc-Graw

Hill