PowerPoint Presentation

Jaringan Syaraf Tiruan

Buku ReferensiPuspaningrum, D., 2006, Pengantar Jaringan Syaraf Tiruan, Yogyakarta: Andi.

Fausett, L., Fundamentals Of Neural Networks, Architectures, algorithms, and applications

Jaringan Syaraf TiruanApa yang dimaksud dengan Jaringan Syaraf Tiruan (JST) ???

JST adalah suatu sistem pemrosesan informasi yang mempunyai karakteristik menyerupai jaringan syaraf manusia/Biologis (JSB).

Jaringan Syaraf Biologis

Merupakan kumpulan dari sel-sel saraf (neuron)Neuron bertugas untuk mengolah informasiNeuron bekerja berdasarkan impuls/sinyal Tiap neuron dihubungkan dengan sel syaraf lain (sinapsis)Komponen neuron terdiri dari 3 bagian :Dendrit, untuk menerima informasiBadan Sel (Soma), sebagai tempat pengolahan informasiAkson (Neurit), mengirimkan impuls-impuls ke sel saraf lainnya.Jaringan Syaraf BiologisCara kerja Jaringan Syaraf Biologis (JSB) :Dendrit menerima sinyal dari neuron lainSinyal berupa impulse elekrik dikirim melalui celah sinaptikSinyal dapat diperkuat/diperlemah di celah sinaptikSoma menjumlahkan semua sinyal-sinyal yang masukJika kuat dan memenuhi batas tertentu (nilai ambang/ threshold) akan diteruskan ke sel lain melalui axonKekuatan sinapsis bisa menurun / meningkat tergantung seberapa besar tingkat propagasi (penyiaran) sinyal yang diterimanya.

Jaringan Syaraf BiologisNeuron merupakan sistem yang fault toleranceDapat mengenali sinyal input yang berbeda dari sebelumnyaDapat mengenali orang yg blm pernah ditemui hanya dengan melihat dari fotoDapat mengenali orang yang berubah krn tua misalnyaOtak manusia tetap mampu bekerja meskipun beberapa neuronnya tidak mampu bekerja dengan baikSebuah neuron rusak, neuron lain dpt dilatih menggantikan fungsi sel yang rusak.Jaringan Syaraf Tiruan

Jaringan Syaraf TiruanCara kerja Jaringan Syaraf Tiruan (JST) :Pemrosesan informasi terjadi pada elemen sederhana (=neuron)Sinyal dikirimkan diantara neuron-neuron melalui penghubung (=dendrit dan akson)Penghubung antar elemen memiliki bobot yang akan menambah atau mengurangi sinyalUntuk menentukan output, setiap neuron memiliki fungsi aktivasi (biasanya non linier) yang dikenakan pada semua inputBesar output akan dibandingkan dengan threshold

Kelebihan JSTMampu mengakuisisi pengetahuan walau tidak ada kepastianMampu melakukan generalisasi dan ekstraksi dari suatu pola data tertentuJST dapat menciptakan suatu pola pengetahuan melalui pengaturan diri atau kemampuan belajar (self organizing)Memiliki fault tolerance, gangguan dapat dianggap sebagai noise sajaKemampuan perhitungan secara paralel sehingga proses lebih singkat9Kekurangan JSTKurang mampu untuk melakukan operasi operasi numerik dengan presisi (ketepatan) tinggiKurang mampu melakukan operasi algoritma aritmatik, operasi logika dan simbolisLamanya proses training yang mungkin terjadi dalam waktu yang sangat lama untuk jumlah data yang besarJSTKlasifikasi: memilih suatu input data ke dalam kategori tertentu yang sudah ditetapkanAsosiasi: menggambarkan suatu obyek secara keseluruhan hanya dengan bagian dari obyek lainSelf organizing: kemampuan mengolah data-data input tanpa harus mempunyai targetOptimasi: menemukan suatu jawaban terbaik sehingga mampu meminimalisasi fungsi biayaAplikasi JSTPengenalan pola (pattern recognition)Huruf, tanda tangan, suara, gambar yang sudah sedikit berubah (mengandung noise)Identifikasi pola sahamPendeteksian uang palsu, kankerSignal ProcessingMenekan noise pada saluran teleponPeramalanPeramalan sahamAutopilot dan simulasiKendali otomatis otomotif

Sejarah JSTTahunKeterangan1943Model JST formal pertama diperkenalkan oleh McCulloch dan Pitts 1949Hebb mengusulkan jaringan Hebb1958Rosenblatt mengembangkan perceptron untuk klasifikasi pola1960Widrow dan Hoff mengembangkan ADALINE dengan aturan pembelajaran Least Mean Square (LMS)1974Werbos memperkenalkan algoritma backpropagation untuk perceptron banyak lapisan1982Kohonen mengembangkan learning unsupervised untuk pemetaan1982Grossberg dan Carpenter mengembangkan Adaptive Resonance Theory (ART, ART2, ART3)1982Hopfield mengembangkan jaringan Hopfield untuk optimasi1985Algoritma Boltzmann untuk jaringan syaraf probabilistik1987dikembangkan BAM (Bidirectional Associative Memory)1988dikembangkan Radial Basis FunctionIstilah dalam JSTNeuron : sel syaraf tiruan yang merupakan elemen pengolah JSTJaringan : bentuk arsitektur JST, kumpulan neuron yang saling berhubungan dan membentuk lapisanInput : sebuah nilai input yang akan diproses menjadi nilai outputOutput : solusi dari nilai inputHidden layer : lapisan yang tidak terkoneksi secara langsung dengan lapisan input atau output, memperluas kemampuan JSTBobot : nilai matematis dari sebuah koneksi antar neuronFungsi aktivasi : fungsi yang digunakan untuk mengupdate nilai-nilai bobot per-iterasi dari semua nilai input.Fungsi aktivasi sederhana adalah mengakalikan input dengan bobotnya dan kemudian menjumlahkannya (disebut penjumlahan sigma)Berbentuk linier atau tidak linier, dan sigmoidParadigma pembelajaran : bentuk pembelajaran, supervised learning, atau unsupervised learning

Arsitektur Jaringan JSTSingle LayerHanya memiliki satu lapisan dengan bobot-bobot terhubung.Langsung menerima input dan mengolahnya menjadi output tanpa menggunakan hidden layer

Arsitektur Jaringan JSTMulti LayerMemiliki satu atau lebih lapisan input, satu atau lebih lapisan output, dan lapisan tersembunyiDapat menyelesaikan masalah yang lebih kompleks karena lebih akuratFungsi pembelajarannya lebih rumit

Arsitektur Jaringan JSTKompetitive Model / Recurrent Model

Hubungan antar neuron tidak diperlihatkan secara langsung pada arsitektur

Hubungan antar neuron dapat digambarkan sebagai jaring yang rumit

Pengelompokkan JSTJST Feed ForwardTidak mempunyai loopContoh: single layer perceptron, mutilayer perceptron, radial basis function

JST Feed Backward (Recurrent)Memiliki loop, lapisan output akan memberi input lagi bagi lapisan inputContoh: competitive networks, kohonen, hopfield, ARTParadigma Pembelajaran JSTSupervised Learning (Terawasi)Kumpulan input berusaha membentuk target output yang sudah diketahui sebelumnyaPerbedaan antara output-output aktual dengan output-output yang diinginkan digunakan untuk mengoreksi bobot JST agar JST dapat menghasilkan jawaban sedekat (semirip) mungkin dengan jawaban yang benar yang telah diketahui oleh JST Biasanya lebih baik daripada unsupervisedKelemahan: pertumbuhan waktu komputasi eksponensial, data bnyk berarti semakin lambatContoh : Hebbian, Perceptron, Adaline, Back Propagation, LVQ (Learning Vector Quantization)Paradigma Pembelajaran JSTUnsupervised Learning (Tidak Terawasi)JST mengorganisasikan dirinya untuk membentuk vektor-vektor input yang serupa tanpa menggunakan data atau contoh-contoh pelatihan, biasanya ke dalam suatu kategori/kelompok2 tertentu.Struktur menggunakan dasar data atau korelasi antara pola-pola data yang dieksplorasi.Contoh : Kohonen, ART

Hibrida LearningGabungan antara unsupervised dan supervisedSebagian dari bobot-bobotnya ditentukan melalui pembelajaran terawasi dan sebagian lainnya melalui pembelajaran tak terawasiContoh : RBFParadigma Pembelajaran TerawasiAturan PembelajaranArsitekturAlgoritma PembelajaranBidang KerjaPengkoreksian errorPerceptron lapis tunggal/ multilapisPerceptronBackpropagationAdaline & MadalineKlasifikasi PolaAproksimasi fungsiPrediksi, KontrolBoltzmannRecurrent (Berulang)BoltzmannKlasifikasi PolaHebbianUmpan maju multilapis (Multilayer feedforward)Analisis Diskriminan linearAnalisa DataKlasifikasi PolaKompetitifKompetitif

Jaringan ARTLVQ (Learning vector Quantization)

ARTMapKategori KelasKompresi Data

Klasifikasi PolaKategori KelasParadigma Pembelajaran Tidak TerawasiAturan PembelajaranArsitekturAlgoritma PembelajaranBidang KerjaPengkoreksian errorMultilayer feedforwardProyeksi SammonAnalisa DataHebbianUmpan maju atau kompetitif

Hopfield netAnalisa Komponen Prinsipal

Aturan memori AsosiatifAnalisa DataKompresi Data

Memori AsosiatifKompetitifKompetitif

Kohonen SOM

Jaringan ARTKuantisasi vektor

Kohonen SOM

ART1, ART2KategorisasiKompresi Data

KategorisasiAnalisis Data

KategorisasiParadigma Pembelajaran HybridAturan PembelajaranArsitekturAlgoritma PembelajaranBidang KerjaPengkoreksian error dan kompetitifJaringan RBFAlgoritma RBFKlasifikasi polaAproksimasi fungsiPrediksiKontrolFungsi AktivasiDipakai untuk menentukan keluaran suatu neuronMerupakan fungsi yang menggambarkan hubungan antara tingkat aktivasi internal (summation function) yang mungkin berbentuk linier atau nonlinear. Beberapa fungsi aktivasi JST diantaranya hard limit, purelin, dan sigmoid.

Fungsi AktivasiFungsi undak biner (hard limit)

Fungsi undak biner (threshold)

Fungsi Aktivasi Fungsi bipolar

Fungsi bipolar dengan threshold

Fungsi AktivasiFungsi Linier (identitas)

Fungsi Sigmoid biner

McCulloch PittsFungsi aktivasi binerBesar bobotnya samaMemiliki threshold yang sama

Contoh buat fungsi logika and, input X1 dan X2, dan Y = 1 jika dan hanya jika inputan 1

X1X2Y111100010000JawabX1X2net Y, 1 jika net >=2, 0 jika net < 2111.1+1.1=21101.1+0.1=10010.1+1.1=10000.1+0.1=00

BERHASIL mengenali polaX1X2Y 211Problem ORX1X2net Y, 1 jika net >=1, 0 jika net < 1111.1+1.1=21101.1+0.1=11010.1+1.1=11000.1+0.1=00

BERHASIL mengenali polaX1X2Y 111Problem X1 and not(X2)X1X2net Y, 1 jika net >=2, 0 jika net < 2111.2+1.-1=10101.2+0.-1=21010.2+1.-1=-10000.2+0.-1=00

BERHASIL mengenali polaX1X2Y 22-1Problem XORX1X2Y110101011000

GAGAL!F(1,1) = 0F(1,0) = 1F(0,0) = 0F(0,1) = 1SolusiXOR = (x1 ^ ~x2) V (~x1 ^ x2)Ternyata dibutuhkan sebuah layer tersembunyi

X1X2Z1Z2Y22-1-111221Tabel