: Penulis : Adam Mizza Zamani - 5108100042 : Dosen Pembimbingdigilib.its.ac.id/public/ITS-paper-25819-5108100042-Presentation.pdfGambaran umum metode 11/07/2012 Tugas Akhir 4 Pembangkitan

OPTIMASI PARAMETER NEURAL NETWORK MENGGUNAKAN

ALGORITMA GENETIKA PADA STUDI KASUS DETEKSI KENKER

PAYUDARA

: Penulis :

A d a m M i z z a Z a ma n i - 5 1 0 8 1 0 0 04 2

: Dosen Pembimbing : Bilqis Amaliah, S.Kom., M.Kom.

Abdul Munif, S.Kom., M.Sc.

11/07/2012 1 Tugas Akhir – KI091391

Lata

r Be

laka

ng

1

• Kanker payudara adalah salah satu kanker mematikan yang sering diderita kaum wanita.

• Dibutuhkan pendeteksian kanker lebih dini agar dampak buruk dapat dicegah.

2

• Diperlukan metode klasifikasi untuk pendeteksian dini kanker payudara.

• Metode kombinasi Neural Network dan Association Rules.

• Hasil akurasi prediksi masih kurang maksimal, dan butuh dioptimalkan.

3

• Pengembangan metode klasifikasi Neural Network.

• Optimasi parameter jumlah unit hidden layer dan learning rate.

• Algoritma genetika merupakan solusi yang tepat.

11/07/2012 2 Tugas Akhir

Rum

usan

M

asal

ah

1

• Bagaimana menemukan parameter jumlah unit (node) pada hidden layer dan learning rate agar terbentuk model Neural Network dengan akurasi terbaik dengan memanfaatkan algoritma genetika pada kasus dataset breast cancer wiscosin.

2

• Manakah metode yang menghasilkan performa akurasi paling baik dari tiga macam metode yang diuji. Optimasi parameter Neural Network menggunakan algoritma genetika ataukah metode Neural Network dengan optimasi Association Rules ataukah metode Naïve Bayesian.


Gambaran umum metode


Pembangkitan populasi awal acak [10,15]

Seleksi Roulette Wheel

Selection

Kawin Silang Crossover

Mutasi

Pelatihan model

< learning >

Pengujian model

< testing >

Nilai fitness kromosom

Mencari nilai fitness

???

Generasi ke - 1

Neural Network Model

Learning rate

N unit hidden layer

Inisialisasi bobot awal

Preprocessing data

10 fold cross validation

Data pelatihan

Data uji

Generasi ke - n

Pembangkitan Populasi Awal

11/07/2012 Tugas Akhir 5

Bangkitkan bilangan acak n antara 10 s/d 15.

Bangkitkan bilangan acak k1 antara 1 s/d 7.

Bangkitkan bilangan acak k2 antara 1 s/d 63.

Konversi nilai k1 ke dalam biner dengan panjang 3 bit.

Konversi nilai k2 ke dalam biner dengan panjang 6 bit.

Gabungkan k1 dan k2.

n = 11

k1 = 7 k2= 26

111 011010

111011010

n = 11

k1 = 6 k2= 25

110 011001

110011001

n = 1

n Kromosom

1 110011001

.

.

.

.

.

.

11 111011010

Pelatihan Model Neural Network


Tahap umpan maju (feedforward)

1

1

2

2

1

3

Pelatihan Model Neural Network (lanjutan)


Tahap umpan mundur (backward)

1

1

2

2

1

3

Pelatihan Model Neural Network (lanjutan)


Tahap perubahan

bobot w dan v UW

(Update weight)

Nilai bobot w yang baru:wij(baru) = wij(lama) + Δwij;w0(baru) = w0(lama) + Δw0;

(bias)

Nilai bobot v yang baru:vjk(baru) = vjk(lama) + Δvjk;v0(baru) = v0(lama) + Δv0;

(bias)

Pengujian Model Neural Network


START

Input :Data uji

ndata = jumlah data;

i = 1;t = target;

TP (True Prediction) = 0;

[feedforward]yk = nilai output

res = Math.Round(yk,0)

res = target

TP = TP + 1;

i ≤ ndata

Ya

Tidak

i = i + 1;

YaHitung akurasi

(TP / ndata) * 100%

Tidak

END

Metode

Evaluasi

PREDICTED

CLASS

ACTUAL

CLASS

1 0

1 a

(TP)

b

(FP)

0 c

(FP)

d

(TP)

1

1

2

2

1

3

Roulette Wheel Selection


Langkah - langkah seleksi :

1) Jumlahkan seluruh nilai fitness

2) Mencari probabilitas tiap kromosom

3) Membentuk chance table

4) Memilih kromosom berdasarkan nilai r, dimana r adalah bilangan acak antara 0 s/d 1.

5) Berada di posisi indeks manakah r dalam chance table, maka kromosom pada indeks itulah yang dipilih.

Kromosom Fitness Probabilitas

110111100 0.675 0,09

001100011 0.875 0,12

100001010 0.984 0,13

100001100 0.867 0,12

111001110 0.345 0,05

011111111 0.555 0,08

010111110 0.900 0,12

011010100 1 0,14

101001111 0.233 0,03

111000001 0.812 0,11

010011001

Jumlah

0.122

7.368 0,02

1

Kromosom Batas bawah Batas atas

110111100 0 < 0,09

001100011 0,09 < 0,21

100001010 0,21 < 0,34

100001100 0,34 < 0,46

111001110 0,46 < 0,51

011111111 0,51 < 0,58

010111110 0,58 < 0,71

011010100 0,71 < 0,84

101001111 0,84 < 0,87

111000001 0,87 < 0,98

010011001 0,98 < 1

r Indeks Kromosom

0,0307 1 110111100

0,5899 7 010111110

0,0550 1 110111100

0,7401 8 011010100

0,2895 3 100001010

0,9171 10 111000001

Crossover


• Pertukaran bit gen dari dua induk secara acak. Crossover dilakukan pada setiap individu dengan nilai probabilitas (cp) tertentu.

• Langkah - langkah crossover :

1) Bangkitkan cp secara acak antara 0 s/d 0.75.

i. Bangkitkan r secara acak untuk setiap kromosom.

ii. Terjadi atau tidaknya crossover ditentukan dengan syarat :

iii. Jika terjadi crossover, maka bangkitkan idx secara acak antara 1 s/d 8.

iv. Jika tidak, kromosom menjadi offspring (keturunan).

Individu r cp idx induk offspring

101000010 0,9 0.45 101000010 101000010

100100011 0.4 0.45 2 100100011 10|1111011

011111011 01|0100011

011111011 0.1 0.45 7 011111011 1111111|11

111111101 0111110|01

111111101 0.2 0.45 4 111111101 1111|00010

101000010 1010|11101

cp = 0.45

Mutasi


• Mutasi gen merupakan operator yang menukar nilai gen dengan nilai invers-nya. Setiap kromosom mengalami mutasi gen dengan probabilitas tertentu (mp).

• Langkah - langkah mutasi :

1) Bangkitkan mp secara acak antara 0.01 s/d 0.09

i. Bangkitkan r secara acak untuk setiap kromosom.

ii. Terjadi atau tidaknya mutasi ditentukan :

i. Bangkitkan numbit antara 1 s/d 9. Menunjukkan banyaknya bit yang termutasi.

ii. Bangkitkan place antara 1 s/d 9 sebanyak jumlah numbit. Menunjukkan posisi bit mana yang termutasi.

Kromosom r mp numbit place offspring

101011110

001010101

010101111

111111110

.546

.031

.010

.045

.05

.05

.05

.05

1

5

3

9

1,2,3,1,6

5,1,2

101011110

001010100

001100111

100101110

mp = 0,05

Data Uji Coba • Dataset yang awalnya berjumlah 684 data akan dibagi

menjadi 10 fold (bagian). Masing-masing fold berjumlah 68 data (684 dibagi 10 sisa 4 data). 4 data yang tersisa digunakan untuk tambahan data uji pada setiap fold-nya, artinya 4 sisa data tersebut selalu ditambahkan pada fold yang berfungsi sebagai data uji.

• Kombinasi 9 fold yang berbeda akan digabung dan digunakan sebagai data pelatihan, sedangkan 1 fold (sisa) digunakan sebagai data uji.

• Skenario I : data fold ke-2

Skenario II : data fold ke-6

Skenario III : data fold ke-3

Skenario IV : data fold ke-1 s/d data fold ke-10


Dataset Breast Cancer Wisconsin

x1 x2 x3 x4 x5 x6 x7 x8 x9 b y

5 1 1 1 2 1 3 1 1 1 0

5 4 4 5 7 10 3 2 1 1 0

8 7 5 10 7 9 5 5 4 1 1

7 4 6 4 6 1 4 3 1 1 1

. . . . . . . . . . .

. . . . . . . . . . .

Jumlah record = 684

68 record

68 record

68 record

68 record

68 record

68 record

68 record

68 record

68 record

68 record

4 record

68 record

68 record

68 record

68 record

68 record

68 record

68 record

68 record

68 record

Data Pelatihan

68 record

4 record

Data Uji

Sken

ario

U

ji C

oba

Skenario 1

• Uji performa dengan parameter pembanding stopping criteria algoritma genetika :

•Stopping criteria 100 maximum generation

•Stopping criteria konvergent generation

Skenario 2

• Uji performa dengan membandingkan Inisialisasi bobot awal Neural Network :

•Inisialisasi bobot secara acak

•Inisialisasi bobot dengan metode Nguyen-Widrow

Skenario 3

• Uji performa dengan membandingkan kisaran nilai crossover probability :

•0 - 0.5

•0 - 0.75

•0 - 1

Skenario 4

•Uji perfrorma rata-rata akurasi untuk 10 fold :

•Klasifikasi Neural Network dengan optimasi parameter menggunakan algoritma genetika

•Klasifikasi Naïve Bayesian


Hasil & Analisis skenario 1

Untuk kriteria maximum(100) generation, didapatkan rata-rata akurasi 98.4% dan standar deviasi sebesar 0.013

Untuk kriteria konvergent generation, didapatkan rata-rata akurasi 99.0% dan standar deviasi sebesar 0.010


91

92

93

94

95

96

97

98

99

100

101 1 8

15

22

29

36

43

50

57

64

71

78

85

92

99

106

Aku

rasi

(%)

Generasi ke-n

Konvergensi

Max Fitness

91

92

93

94

95

96

97

98

99

100

101

1

8

15

22

29

36

43

50

57

64

71

78

85

92

99

Aku

rasi

(%)

Generasi ke-n

100 generasi

Max Fitness


Untuk inisialisasi bobot awal secara acak, didapatkan rata-rata akurasi 92.5% dan standar deviasi sebesar 0.018

Untuk inisialisasi bobot awal dengan metode Nguyen Widrow, didapatkan rata-rata akurasi 93.4% dan standar deviasi

sebesar 0.013


87

88

89

90

91

92

93

94

1 2 3 4 5

Aku

rasi

(%)

percobaan ke-n

Inisialisasi bobot awal Neural Network

Random

Nguyen Widrow


Untuk cp 0 - 0.5 menghasilkan rata-rata akurasi sebesar 96.84% dan standar deviasi sebesar 0,018




95

95,5

96

96,5

97

97,5

98

1 2 3 4 5

Aku

rasi

(%)

percobaan ke-n

Crossover probability

0 - 0.5

0 - 0.75

0 - 1


Metode

“Optimasi parameter Neural Network dengan optimasi algoritma genetika”

:: Rata-rata akurasi sebesar 97.0% ::

Metode

“Klasifikasi Naïve Bayesian”

:: Rata-rata akurasi sebesar 96.2% ::


fold Rata-rata akurasi

(%)

1 98,6

2 100

3 98,6

4 98,6

5 98,6

6 95,8

7 94,4

8 98,6

9 94,4

10 91,7

Rata-rata 97,0

fold Rata-rata akurasi

(%)

1 97,2

2 98,6

3 98,6

4 97,2

5 97,2

6 95,8

7 93,1

8 97,2

9 97,2

10 90,3

Rata-rata 96,2

Kes

impu

lan

•Metode Neural Network yang dioptimalkan parameternya menggunakan algoritma genetika terbukti mampu menghasilkan nilai rata-rata akurasi yang tinggi untuk studi kasus deteksi awal kanker payudara

1

•Memiliki keunggulan dalam hal tingkat akurasi yang tinggi dibandingkan metode Naïve Bayesian dan metode Neural Network menggunakan optimasi Association Rules

2

•Kelemahan dari metode optimasi parameter Neural Network menggunakan algoritma genetika ini adalah membutuhkan waktu komputasi yang lama.

3

•Parameter optimal untuk cp (crossover probability) adalah range antara 0.0 – 1.0

4

•Penggunaan metode Nguyen Widrow untuk inisialisasi bobot awal Neural Network terbukti menghasilkan rata-rata akurasi lebih baik dari pada inisialisasi secara acak

5

•Nilai rata-rata akurasi yang dapat dicapai oleh sistem sebesar 97,00%

6


: Penulis : Adam Mizza Zamani - 5108100042 : Dosen Pembimbingdigilib.its.ac.id/public/ITS-paper-25819-5108100042-Presentation.pdfGambaran umum metode 11/07/2012 Tugas Akhir 4 Pembangkitan

Documents