Implementasi Support Vector Machine dengan Optimasi Pruning pada Persoalan Klasifikasi Pola Dinda Firly Paramitha – 5110100084 Pembimbing I: Arya Yudhi Wijaya, S.Kom., M.Kom. Pembimbing II: Dini Adni Navastara, S.Kom., M.Sc.
Implementasi Support Vector Machine dengan Optimasi Pruning pada Persoalan
Klasifikasi PolaDinda Firly Paramitha – 5110100084
Pembimbing I: Arya Yudhi Wijaya, S.Kom., M.Kom.
Pembimbing II: Dini Adni Navastara, S.Kom., M.Sc.
Latar Belakang
• Support Vector Machine merupakan sebuah metodeuntuk melakukan klasifikasi ataupun regresi.
• Biaya komputasi besar disebabkan karena lamanyapembentukan support vector yang optimal
• Hal yang diupayakan untuk mengurangi biaya komputasiadalah sebuah cara untuk mengeliminasi support vectoryang tidak optimal.
4
Rumusan Masalah
• Bagaimana mengimplementasikan eliminasi training vectors dengan proses pruning?
• Bagaimana mengimplementasikan metode SVM dengan menggunakan SMO pada klasifikasi pola?
• Bagaimana evaluasi uji kinerja metode SVM dengan proses pruning?
5
Asumsi
Syarat yang harus dipenuhi oleh class data yang akan diproses dengan pruning adalah sebagai berikut:
1. Persoalan harus separable.
2. Terdapat sebuah convexhull pada masukan training vectorsdi setiap kelas.
6
Batasan Masalah
Dataset yang digunakan berupa citra berwarna.
Jumlah class yang digunakan adalah 2 kelas yaitu membedakan objek dan latar belakang
Proses pruning yang digunakan adalah menggunakan pemodelan Gaussian dan proses proyeksi.
Pengklasifikasi yang digunakan adalah SVM menggunakan Sequential Minimal Optimization (SMO)
Implementasi dilakukan pada Matlab 7.6.0.7
Tujuan
Melakukan implementasi eliminasi training vectors dengan menggunakan proses pruning
Melakukan implementasi klasifikasi pola dengan SVM menggunakan SMO
Melakukan evaluasi kinerja metode SVM dengan proses pruning dalam klasifikasi pola
8
Proses Utama pada Sistem
• Proses Training
Cropping citra training
Ekstraksi nilai R,G,B
Eliminasi training vectorsdengan Proses Proyeksi
Eliminasi training vectorsdengan Pemodelan Gaussian
Klasifikasi Pola dengan Sequential Minimal Optimization (SMO)
Model Klasifikasi
Mulai Selesai
10objek latar
belakang
Proses Utama pada Sistem
• Proses Testing
MulaiSelesai
Model Klasifikasi
Menentukan Klasifikasi Pola Berdasarkan Model
11
Menghitung nilai akurasi
Citra groundtruth
Nilai akurasi
Skenario 1: Ukuran Citra Training• Data uji coba pada skenario 1 menggunakan 10 citra berwarna
• Ukuran citra training yang digunakan adalah
30x30 40x40
50x50 60x60
14
Hasil Uji Coba Skenario 1
15
0
20
40
60
80
100
120
1 2 3 4 5 6 7 8 9 10
Aku
rasi
(%
)
Citra Berwarna
Akurasi Berdasarkan Ukuran Citra Training
30x30
40x40
50x50
60x60
Hasil Uji Coba Skenario 1
16
0
20
40
60
80
100
120
1 2 3 4 5 6 7 8 9 10
Wak
tu (
de
tik)
Citra Berwarna
Waktu Komputasi Berdasarkan Ukuran Citra Training
60x60
50x50
40x40
30x30
Hasil Uji Coba Skenario 1
• Dari perbandingan hasil uji coba skenario 1, didapatkan rata-rata akurasi dan rata-rata waktu komputasi sebagai berikut :
17
No. Rata-rataUkuran Citra Training
30x30 40x40 50x50 60x60
1. Akurasi (%) 93,98 95,95 97,41 92,43
2.Waktu Komputasi
(detik)11,69 16,86 18,65 28,16
Hasil Uji Coba Skenario 1
Citra Berwarna Asli Citra Groundtruth
Ukuran 30x30
Akurasi : 85,39 %
Ukuran 40x40
Akurasi : 85,32 %
18
Hasil Uji Coba Skenario 1
Ukuran 50x50 Ukuran 60x60
19
Akurasi : 92,10% Akurasi : 91,18%
Citra Berwarna Asli Citra Groundtruth
Skenario 2: Metode Eliminasi yang Digunakan• Data uji coba menggunakan 25 citra berwarna.
• Metode eliminasi yang digunakan ada 3, yaitu:
Tanpa pruning
Pemodelan Gaussian
Pruning20
Hasil Uji Coba Skenario 2
21
050
100150200250300350400450500
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
Wak
tu (
det
ik)
Citra Berwarna
Perbandingan Waktu Komputasi Berdasarkan Metode Eliminasi Training Vectors
Tanpa Pruning
Gaussian
Pruning
Hasil Uji Coba Skenario 2
22
80
85
90
95
100
105
1 2 3 4 5 6 7 8 9 10111213141516171819202122232425
Aku
rasi
(%
)
Citra Berwarna
Perbandingan Akurasi Berdasarkan Metode Eliminasi Training Vectors
Tanpa Pruning
Gaussian
Pruning
Hasil Uji Coba Skenario 2
• Dari perbandingan hasil uji coba skenario 2, didapatkan rata-rata akurasi dan rata-rata waktu komputasi sebagai berikut:
23
No. Rata-rata
Metode Eliminasi yang Digunakan
Tanpa
Pruning
Eliminasi
dengan
Gaussian
Pruning
1. Akurasi (%) 97,25 97,27 97,05
2.Waktu Komputasi
(detik)267,15 69,92 19,64
Hasil Uji Coba Skenario 2
Citra Berwarna Asli Citra Groundtruth Tanpa Pruning
Pemodelan Gaussian Dengan Pruning
Waktu : 248,61 detikAkurasi : 94,13 %
Waktu: 70,73 detikAkurasi: 94,10 %
Waktu: 20,61 detikAkurasi: 96,95%
24
Kesimpulan• Metode SVM dengan optimasi pruning dapat digunakan
untuk melakukan klasifikasi pola menggunakan citraberwarna dengan hasil yang baik.
• Berdasarkan hasil uji coba skenario 1, metode SVMdengan optimasi pruning secara optimal melakukanklasifikasi pola dengan ukuran citra training sebesar50x50 dengan rata-rata akurasi sebesar 97,41%
• Berdasarkan hasil uji coba skenario 2, metode SVMdengan optimasi pruning memiliki waktu komputasi yangpaling cepat dibandingkan metode SVM tanpa pruning(267,15 detik) dan metode SVM menggunakan eliminasidengan pemodelan Gaussian (62,92 detik) yaitu 19,64detik. 26
Saran
• Perlu dikembangkan klasifikasi pola menggunakan SVMdengan optimasi pruning pada persoalan yang tidak separabledan tidak memenuhi convexhull.
• Perlu dikembangkan klasifikasi pola menggunakan SVMdengan optimasi pruning pada persoalan lebih dari dua kelas(multiclass)
27
Proses Ekstraksi Nilai R,G,B
Hasil dari proses ini sebagai masukan untuk klasifikasi pola
Mulai Selesai
Memisahkan nilai R,G, dan B
Mengubah dalam matriks satu dimensi
Menjadikan dalam satu matriks
Transpose matriks
Matriks berisi nilai R,G,B
29
Eliminasi Training Vectors (I)
• Pemodelan Gaussian
Mulai Selesai
Matriks berisi nilai R,G,B
Menghitung nilai mean
Menghitung nilai covariance
Menghitung probabilitas dengan distribusi Gaussian
Mengambil nilai rata-rata hasil probabilitas < hasil
probabilitas
Menghitung nilai mean
Matriks berisi nilai R,G,B
yang sudah dieliminasi
Menghitung rata-rata hasil probabilitas
30
Eliminasi Training Vectors (II)
• Proses Proyeksi
Mulai Selesai
Memproyeksikan semua vektor
Matriks berisi nilai R,G,B
yang sudah dieliminasi
Menghitung mean masukan
Mengambil nilai hasil proyeksi
vektor <= 0
Matriks berisi nilai R,G,B yang
sudah dieliminasi lagi
31
Klasifikasi Model
• Klasifikasi model dengan Sequential Minimal Optimization (SMO)
Mulai Selesai
Melakukan pemodelan
dengan SMO
Matriks berisi nilai R,G,B yang sudah dieliminasi lagi, C,
Sigma
Model dari hasil
training
32