IMPLEMENTASI METODE A KPROPAGATION NEURAL AG ...repository.ub.ac.id/11305/1/Bagian Depan.pdfpengalaman, serta memberikan bantuan selama pengerjaan skripsi ini. 11. Teman-teman EMIF

i

IMPLEMENTASI METODE BACKPROPAGATION NEURAL NETWORK BERBASIS LEXICON BASED FEATURES DAN BAG

OF WORDS UNTUK IDENTIFIKASI UJARAN KEBENCIAN PADA TWITTER

SKRIPSI

Untuk memenuhi sebagian persyaratan

memperoleh gelar Sarjana Komputer

Disusun oleh: Muhammad Mishbahul Munir

NIM: 145150200111181

PROGRAM STUDI TEKNIK INFORMATIKA JURUSAN TEKNIK INFORMATIKA

FAKULTAS ILMU KOMPUTER UNIVERSITAS BRAWIJAYA

MALANG 2018

ii

PENGESAHAN

IMPLEMENTASI METODE BACKPROPAGATION NEURAL NETWORK BERBASIS LEXICON BASED FEATURES DAN BAG OF WORDS UNTUK IDENTIFIKASI UJARAN

KEBENCIAN PADA TWITTER

SKRIPSI

Untuk memenuhi sebagian persyaratan

memperoleh gelar Sarjana Komputer

Disusun Oleh : Muhammad Mishbahul Munir

NIM: 145150200111181

Skripsi ini telah diuji dan dinyatakan lulus pada 17 Januari 2018

Telah diperiksa dan disetujui oleh:

Pembimbing I

Mochammad Ali Fauzi, S. Kom., M.Kom. NIK: 201502 890101 1 001

Pembimbing II

Rizal Setya Perdana, S. Kom., M.Kom. NIK: 201603 910118 1 001

Mengetahui Ketua Jurusan Teknik Informatika

Tri Astoto Kurniawan, S.T, M.T, Ph.D NIP: 19710518 200312 1 001

iii

PERNYATAAN ORISINALITAS

Saya menyatakan dengan sebenar-benarnya bahwa sepanjang pengetahuan saya, di dalam naskah skripsi ini tidak terdapat karya ilmiah yang pernah diajukan oleh orang lain untuk memperoleh gelar akademik di suatu perguruan tinggi, dan tidak terdapat karya atau pendapat yang pernah ditulis atau diterbitkan oleh orang lain, kecuali yang secara tertulis disitasi dalam naskah ini dan disebutkan dalam daftar pustaka.

Apabila ternyata didalam naskah skripsi ini dapat dibuktikan terdapat unsur-unsur plagiasi, saya bersedia skripsi ini digugurkan dan gelar akademik yang telah saya peroleh (sarjana) dibatalkan, serta diproses sesuai dengan peraturan perundang-undangan yang berlaku (UU No. 20 Tahun 2003, Pasal 25 ayat 2 dan Pasal 70).

Malang, 17 Januari 2018

Muhammad Mishbahul Munir

NIM: 145150200111181

iv

KATA PENGANTAR

Segala puja dan puji serta syukur Alhamdulillah Penulis panjatkan kepada Allah SWT yang telah melimpahkan rahmat, karunia, serta hidayah-Nya sehingga penulis dapat menyelesaikan skripsi dengan judul: “Implementasi Metode Backpropagation Neural Network Berbasis Lexicon Based Features dan Bag Of Words untuk Identifikasi Ujaran Kebencian pada Twitter”.

Skripsi ini merupakan salah satu syarat kelulusan yang harus ditempuh di Fakultas Ilmu Komputer, Program Studi Informatika Universitas Brawijaya Malang. Dan tak lupa pula, penulis juga mengucapkan terimakasih yang sebesar-besarnya kepada pihak-pihak yang telah memberikan bantuan selama pengerjaan skripsi ini dari awal hingga terselesaikannya laporan skripsi ini, diantaranya:

1. Mochammad Ali Fauzi, S. Kom., M.Kom., selaku dosen pembimbing 1 dan Rizal Setya Perdana, S. Kom., M.Kom., selaku dosen pembimbing 2 yang telah memberikan bimbingan, saran, serta arahan selama penyusunan skripsi ini.

2. Wayan Firdaus Mahmudy, S.Si., M.T., Ph.D., Ir. Heru Nurwasito, M.Kom., Drs., Marji, M.T., Edy Santoso, S.Si, M.Kom. selaku Dekan, Wakil Dekan I, Wakil Dekan II, Wakil Dekan III Fakultas Ilmu Komputer Universitas Brawijaya Malang.

3. Seluruh dosen Fakultas Ilmu Komputer yang telah mendidik dan memberikan ilmu serta wawasannya selama menempuh pendidikan dan menyelesaikan skripsi ini.

4. Seluruh civitas akademika Fakultas Ilmu Komputer Universitas Brawijaya yang telah banyak memberikan bantuan serta dukungan kepada penulis selama menempuh pendidikan dan menyelesaikan skripsi ini.

5. Mu’allimin dan Jarmi selaku kedua orang tua penulis yang telah mendukung penulis dari awal pendidikan hingga menyelesaikan skripsi ini baik secara moril dan materil, serta mendukung melalui setiap doa dan kasih sayangnya yang tulus.

6. Seluruh keluarga besar Ayah dan Ibu yang selalu memberikan semangat dan bantuan selama ini.

7. Teman-teman seperjuangan dalam menyelesaikan skripsi ini Muhammad Nadzir, M. Kevin Pahlevi, Yulfa Hadi Wicaksono, Anggita Mahardika, Priscillia Vinda Gunawan, yang selalu memberikan bantuan, motivasi dan waktu selama pengerjaan skripsi ini.

8. Teman-teman second home studio dalam berbagi pengalaman dan ilmu selama ini Winny Ardhian Septiko, Doni Putra Purbawa, Risailin Dwi Jaka Fauzi, Yulius Firantoko.

9. Teman-teman seper-CL-an Mahardika Putra Utama, Asroful Khusna A., Alfian, Farhan Nugraha, Muhammad Faris Mas’ud, Miftakhul Hanif, Ighustri Riesna V., Imam Nurhidayat, Febri Ramadhani, I Dewa Gede Ardana P., Irsya Duzh Zhilim B., Muhammad Rexa Mei B., Rio Ridho S.,

v

Rizal DC., Syahmi Rifki HP., San Sayidul AA., Sandy Dwi A., Steven Urbani, Fardan Ainul Y., Zamahsyari F., Fakhruzzahid Wahdah, Pupung Adi Prasetyo, Arrizal Amin yang telah memberikan warna dalam masa perkuliahan.

10. Seluruh teman-teman TIF-M 2014 yang telah berbagi ilmu dan pengalaman, serta memberikan bantuan selama pengerjaan skripsi ini.

11. Teman-teman EMIF FILKOM UB Kabinet Berinovasi Nova Amynarto, Abul A’la A., Amelia Achsandini P., Vina Meilia, Mahardika H. Bagaskara, Bossarito Putro, Dea Valentina, Desy Diandra B., Fikri Ihsan, Tusiarti H., Gradi D., Moch. Ainun Najib, dan Widyawati yang telah bersama dalam berorganisasi pertama bagi penulis.

12. Teman-teman Kementerian Karya Prestatif (K2P) BEM FILKOM Kabinet SukmaKarya Alifikri, Rafiqah Majidah, Muhammad Ulul Albab I., Albert Bill A., Andika Fatimah Az-Zahra, Dary Ardiansyah H., Ivan, Muhammad Hakiem, Rohayat Widiantari, Dwi Retno Ningrum, Andry Lesmana J., Alfredo Juan P., Putri Maulidah H., Amelia Kosasih, Wahid Hasyim yang selalu mendukung dalam pengerjaan skripsi ini, dan terimakasih atas pengalaman dan kekeluargaannya selama ini.

13. Teman-teman BEM FILKOM Kabinet SukmaKarya khususnya kepada BPH BEM FILKOM yang selalu mendukung dalam pengerjaan skripsi ini, dan terimakasih atas pengalamannya organisasinya selama ini.

14. Seluruh teman-teman Informatika UB angkatan 2014 serta semua pihak yang tidak dapat penulis sebutkan satu persatu yang telah membantu dan mendukung penulis selama pendidikan sampai terselesaikannya skripsi ini baik secara langsung maupun tidak langsung. Penulis menyadari bahwasannya skripsi ini masih mempunyai

kekurangan. Oleh karena itu, segala bentuk kritik dan saran yang membangun sangat penulis harapkan. Dan besar harapan penulis skripsi ini dapat bermanfaat bagi semua pihak yang membaca, berkepentingan dan khususnya bagi penulis sendiri.

Malang, 17 Januari 2018

Penulis [email protected]

vi

ABSTRAK

Muhammad Mishbahul Munir, Implementasi Metode Backpropagation Neural Network Berbasis Lexicon Based Features dan Bag Of Words untuk Identifikasi Ujaran Kebencian pada Twitter

Pembimbing: Mochammad Ali Fauzi, S. Kom., M.Kom. dan Rizal Setya Perdana, S. Kom., M.Kom.

Ujaran kebencian adalah bahasa yang mengekspresikan suatu kebencian terhadap suatu kelompok atau individu yang bermaksud untuk menghina atau mempermalukan dan medianya bisa terdapat dimana saja, salah satunya Twitter. Twitter merupakan media sosial yang memungkinkan pengguna untuk mengutarakan perasaan dan opini melalui tweet, termasuk tweet yang mengandung ujaran kebencian. Data dokumen atau tweet berasal dari penelitian yang terdahulu tentang ujaran kebencian. Metode yang digunakan dalam mengolah data dokumen tersebut adalah Backpropagation Neural Network dengan pembaruan fitur menggunakan Lexicon Based Features yang dikombinasikan dengan Bag of Words. Pada penelitian ini menggunakan data sebanyak 500 data yang dibagi menjadi data latih sebanyak 400 data dan data uji sebanyak 100 data. Dari hasil pengujian evaluasi, ketika menggunakan Lexicon Based Features nilai rata-rata f-measure sebesar 0%, lebih buruk dibandingkan dengan menggunakan Bag of Words yang nilai rata-rata f-measure sebesar 76,638%, sedangkan ketika Lexicon Based Features dikombinasikan dengan Bag of Words mendapat nilai rata-rata terbaik diantara fitur sebelumnya dengan f-measure sebesar 78,081%. Dan hasil perbandingan metode Backpropagation Neural Network berbasis Lexicon Based Features dan Bag of Words tidak lebih baik dibandingkan dengan Random Forest Decision Tree menggunakan n-gram fitur pada penelitian sebelumnya.

Kata kunci: ujaran kebencian, twitter, bag of words, lexicon based features, backpropagation neural network

vii

ABSTRACT

Muhammad Mishbahul Munir, The Implementation of Backpropagation Neural Network Method based on Lexicon Based Features and Bag of Words for Identifying Hate Speech on Twitter

Advisor: Mochammad Ali Fauzi, S. Kom., M.Kom. and Rizal Setya Perdana, S. Kom., M.Kom.

Hate speech is a language that expresses a hatred of a group or individual who intends to insult or humiliate and the media can be found anywhere, one of them Twitter. Twitter is a social media that allows users to express feelings and opinions through tweets, including tweets that contain hate speech. Document or tweet data comes from previous research on hate speech. The method used in processing the document data is Backpropagation Neural Network with feature updates using Lexicon Based Features combined with Bag of Words. In this study using data as much as 500 data is divided into training data as much as 400 data and test data as much as 100 data. From the evaluation test results, when using Lexicon Based Features, the average value of f-measure is 0%, worse than using the Bag of Words with an average f-measure of 76.638%, while when Lexicon Based Features is combined with the Bag of Words got the best average score among the previous features with a f-measure of 78.081%. And the result Backpropagation Neural Network using Lexicon Based Features combined with Bag of Words is not better than Random Forest Decision Tree using n-gram from previous research.

Keywords: hate speech, twitter, bag of words, lexicon based features, backpropagation neural network

viii

DAFTAR ISI

PENGESAHAN ........................................................................................................... ii

PERNYATAAN ORISINALITAS ................................................................................... iii

KATA PENGANTAR ................................................................................................... iv

ABSTRAK .................................................................................................................. vi

ABSTRACT ............................................................................................................... vii

DAFTAR ISI ............................................................................................................. viii

DAFTAR GAMBAR .................................................................................................... xi

DAFTAR TABEL ........................................................................................................ xii

DAFTAR SOURCE CODE ......................................................................................... xiv

DAFTAR LAMPIRAN ................................................................................................ xv

BAB 1 PENDAHULUAN ............................................................................................. 1

1.1 Latar belakang ........................................................................................ 1

1.2 Rumusan masalah .................................................................................. 3

1.3 Tujuan .................................................................................................... 4

1.4 Manfaat .................................................................................................. 4

1.5 Batasan Masalah .................................................................................... 4

1.6 Sistematika pembahasan ....................................................................... 5

BAB 2 LANDASAN KEPUSTAKAAN ........................................................................... 7

2.1 Kajian Pustaka ........................................................................................ 7

2.2 Dasar Teori ............................................................................................. 8

2.2.1 Ujaran Kebencian .......................................................................... 8

2.2.2 Bentuk Ujaran Kebencian .............................................................. 9

2.2.3 Twitter ........................................................................................... 9

2.2.4 Text Mining ................................................................................. 10

2.2.5 Text Preprocessing ...................................................................... 11

2.2.6 Lexicon Based Features (LBF) ...................................................... 12

2.2.7 Artificial Neural Network (ANN) .................................................. 12

2.2.8 Backpropagation Neural Network (BPNN).................................. 13

2.2.9 Precision, Recall, dan F-Measure ................................................ 17

2.2.10 K-Fold Cross Validation ............................................................. 19

BAB 3 METODOLOGI ............................................................................................. 21

ix

3.1 Studi Kepustakaan ............................................................................... 21

3.2 Pengumpulan Data .............................................................................. 22

3.3 Perancangan Sistem ............................................................................. 22

3.4 Implementasi Sistem ........................................................................... 22

3.5 Pengujian Sistem .................................................................................. 22

3.6 Evaluasi Sistem ..................................................................................... 23

BAB 4 PERANCANGAN ........................................................................................... 24

4.1 Deskripsi Sistem ................................................................................. 24

4.2 Persiapan Data ................................................................................... 25

4.3 Perancangan Proses ........................................................................... 25

4.3.1 Proses Algoritme Backpropagation Neural Network (BPNN) berbasis Lexicon Based Features (LBF) dan Bag of Words (BoW)........ 26

4.3.2 Preprocessing .............................................................................. 27

4.3.2.1 Proses Cleaning ............................................................... 28

4.3.2.2 Proses Case Folding ......................................................... 29

4.3.2.3 Proses Tokenizing ............................................................ 30

4.3.2.4 Proses Filtering ................................................................ 31

4.3.2.5 Proses Stemming ............................................................. 32

4.3.3 Proses Bag of Words (BoW) dan Lexicon Based Features (LBF) . 37

4.3.3.1 Proses Bag of Words (BoW) ............................................ 38

4.3.3.2 Proses Lexicon Based Features (LBF) .............................. 39

4.3.4 Proses Backpropagation Neural Network (BPNN) ...................... 42

4.4 Perhitungan Manual ........................................................................... 44

4.5 Perancangan Pengujian ...................................................................... 64

4.6.1 Perancangan Pengujian Pengaruh Max Epoch ........................... 64

4.6.2 Perancangan Pengujian Pengaruh Learning Rate ....................... 65

4.6.3 Perancangan Pengujian Pengaruh Lexicon Based Features (LBF)65

4.6.4 Perancangan Pengujian Pengaruh Bag of Words (BoW) ............ 66

4.6.5 Perancangan Pengujian Perbandingan Evaluasi Metode BPNN menggunakan Lexicon Based Features dan Bag of Words .................. 66

4.6.6 Perancangan Analisis Perbandingan Metode BPNN dengan RFDT .............................................................................................................. 67

BAB 5 IMPLEMENTASI ........................................................................................... 68

5.1 Perangkat Keras ................................................................................... 68

x

5.2 Perangkat Lunak .................................................................................. 68

5.3 Batasan Implementasi ......................................................................... 68

5.4 Implementasi Algoritme ...................................................................... 69

5.4.1 Implementasi Preprocessing ....................................................... 69

5.4.1.1 Implementasi Proses Cleaning ........................................ 69

5.4.1.2 Implementasi Proses Case Folding .................................. 70

5.4.1.3 Implementasi Proses Tokenizing ..................................... 70

5.4.1.4 Implementasi Proses Filtering ......................................... 71

5.4.1.5 Implementasi Proses Stemming ..................................... 72

5.4.2 Implementasi Algoritme Bag of Words (BoW) dan Lexicon Based Features (LBF) ....................................................................................... 72

5.4.2.1 Implementasi Proses Bag of Words (BoW) ..................... 73

5.4.2.2 Implementasi Proses Lexicon Based Features (LBF) ....... 73

5.4.3 Implementasi Algoritme Backpropagation Neural Network (BPNN) .................................................................................................. 74

BAB 6 PENGUJIAN DAN ANALISIS .......................................................................... 81

6.1 Pengujian dan Analisis Pengaruh Max Epoch ...................................... 81

6.2 Pengujian dan Analisis Pengaruh Learning Rate ................................. 83

6.3 Pengujian dan Analisis Pengaruh Lexicon Based Features (LBF) ......... 84

6.4 Pengujian dan Analisis Pengaruh Bag of Words (BoW) ....................... 85

6.5 Pengujian dan Analisis Pengaruh Perbandingan Evaluasi Metode BPNN menggunakan Lexicon Based Features dan Bag of Words ........................ 87

6.6 Analisis Perbandingan Metode BPNN dengan RFDT ........................... 88

BAB 7 PENUTUP .................................................................................................... 90

7.1 Kesimpulan........................................................................................... 90

7.2 Saran .................................................................................................... 91

DAFTAR PUSTAKA .................................................................................................. 92

LAMPIRAN A DATABASE PENDUKUNG ................................................................. 94

A.1 Database Stopword Bahasa Indonesia ................................................ 94

A.2 Database Kata Positif dan Negatif (Sentiwords) ................................. 98

A.3 Database Emoticon............................................................................ 108

LAMPIRAN B DATABASE TWEET UJARAN KEBENCIAN ........................................ 112

xi

DAFTAR GAMBAR

Gambar 2.1 Multilayer Feed-Forward Neural Network ........................................ 13

Gambar 2.2 Matriks Kontingensi .......................................................................... 18

Gambar 2.3 Metode K-Fold Cross Validation ........................................................ 20

Gambar 3.1 Alur Metodologi Penelitian ............................................................... 21

Gambar 4.1 Perancangan Sistem .......................................................................... 24

Gambar 4.2 Diagram Alir Sistem ........................................................................... 26

Gambar 4.3 Diagram Alir Algoritme BPNN berbasis LBF dan BoW ....................... 27

Gambar 4.4 Diagram Alir Preprocessing ............................................................... 28

Gambar 4.5 Diagram Alir Proses Cleaning ............................................................ 29

Gambar 4.6 Diagram Alir Proses Case Folding ...................................................... 30

Gambar 4.7 Diagram Alir Proses Tokenizing ......................................................... 31

Gambar 4.8 Diagram Alir Proses Filtering ............................................................. 32

Gambar 4.9 Diagram Alir Proses Stemming Library Sastrawi ............................... 33

Gambar 4.10 Diagram Alir Proses Stemming Kata Jamak Library Sastrawi .......... 34

Gambar 4.11 Diagram Alir Proses Stemming Kata Tunggal Library Sastrawi ....... 36

Gambar 4.12 Diagram Alir Proses Confix Stripping Library Sastrawi .................... 37

Gambar 4.13 Diagram Alir Proses BoW dan LBF ................................................... 38

Gambar 4.14 Diagram Alir Proses Bag of Words (BoW) ....................................... 39

Gambar 4.15 Diagram Alir Proses Lexicon Based Features (LBF).......................... 41

Gambar 4.16 Diagram Alir Proses BPNN ............................................................... 43

Gambar 6.1 Grafik Hasil Pengujian Pengaruh Max Epoch .................................... 82

Gambar 6.2 Grafik Hasil Pengujian Pengaruh Learning Rate................................ 84

Gambar 6.3 Grafik Hasil Perbandingan Evaluasi Metode BPNN menggunakan LBF dan BoW ................................................................................................................ 87

xii

DAFTAR TABEL

Tabel 2.1 Kajian Pustaka ......................................................................................... 7

Tabel 2.2 Matriks Kontingensi Dua Kelas .............................................................. 19

Tabel 4.1 Dataset Tweet Ujaran Kebencian .......................................................... 44

Tabel 4.2 Dataset Tweet Ujaran Kebencian setelah Penyaringan ........................ 45

Tabel 4.3 Dataset Tweet Ujaran Kebencian setelah Case Folding ........................ 45

Tabel 4.4 Contoh Hasil Tokenizing ........................................................................ 46

Tabel 4.5 Hasil Tokenizing Data Latih.................................................................... 46

Tabel 4.6 Hasil Tokenizing Data Uji ....................................................................... 47

Tabel 4.7 Database stopword Bahasa Indonesia .................................................. 47

Tabel 4.8 Contoh Proses Filtering ......................................................................... 47

Tabel 4.9 Hasil Filtering Data Latih........................................................................ 48

Tabel 4.10 Hasil Filtering Data Uji ......................................................................... 48

Tabel 4.11 Contoh Proses Stemming .................................................................... 49

Tabel 4.12 Hasil Stemming Data Latih .................................................................. 49

Tabel 4.13 Hasil Stemming Data Uji ...................................................................... 49

Tabel 4.14 Hasil Ascending Data Latih .................................................................. 50

Tabel 4.15 Fitur Input BoW ................................................................................... 51

Tabel 4.16 Contoh Konversi BOW menjadi Input BPNN ....................................... 51

Tabel 4.17 Input Data Latih BoW 1 untuk BPNN ................................................... 52

Tabel 4.18 Input Data Latih BoW untuk BPNN ...................................................... 52

Tabel 4.19 Daftar Fitur Lexicon Based Features .................................................... 52

Tabel 4.20 Database Fitur Kata Positif dan Negatif .............................................. 53

Tabel 4.21 Database Fitur Emoticon ..................................................................... 53

Tabel 4.22 Contoh Konversi LBF menjadi Input BPNN .......................................... 54

Tabel 4.23 Input Data Latih LBF 1 untuk BPNN ..................................................... 54

Tabel 4.24 Input Data Latih LBF untuk BPNN ........................................................ 54

Tabel 4.25 Input Data Latih BPNN ......................................................................... 55

Tabel 4.26 Nilai Bobot Lapisan Tersembunyi dan Keluaran.................................. 55

Tabel 4.27 Hasil Koreksi Kesalahan dan Koreksi Bias Iterasi 1 .............................. 58

Tabel 4.28 Hasil Perbaruan Bobot Unit Tersembunyi dan Keluaran .................... 60

Tabel 4.29 Hasil Bobot pada Iterasi Pertama ........................................................ 60

xiii

Tabel 4.30 Hasil Bobot setelah Target Tercapai.................................................... 61

Tabel 4.31 Input Data Uji BPNN ............................................................................ 62

Tabel 4.32 Perancangan Pengujian Pengaruh Max Epoch .................................... 65

Tabel 4.33 Perancangan Pengujian Pengaruh Learning Rate ............................... 65

Tabel 4.34 Perancangan Pengujian Pengaruh Lexicon Based Features (LBF) ....... 66

Tabel 4.35 Perancangan Pengujian Pengaruh Bag of Words (BoW) .................... 66

Tabel 4.36 Perancangan Pengujian Perbandingan Evaluasi Metode BPNN menggunakan LBF dan BoW ................................................................................. 67

Tabel 4.37 Perancangan Analisis Perbandingan Metode BPNN dengan RFDT ..... 67

Tabel 6.1 Hasil Pengujian Pengaruh Max Epoch ................................................... 82

Tabel 6.2 Hasil Pengujian Pengaruh Learning Rate .............................................. 83

Tabel 6.3 Hasil Pengujian Pengaruh LBF ............................................................... 85

Tabel 6.4 Hasil Pengujian Pengaruh BoW ............................................................. 86

Tabel 6.5 Hasil Perbandingan Evaluasi Metode BPNN menggunakan LBF dan BoW ............................................................................................................................... 87

Tabel 6.6 Hasil Perbandingan Metode BPNN dengan RFDT ................................. 88

xiv

DAFTAR SOURCE CODE

Source Code 5.1 Implementasi Proses Cleaning ................................................... 69

Source Code 5.2 Implementasi Proses Case Folding ............................................ 70

Source Code 5.3 Implementasi Proses Tokenizing ............................................... 71

Source Code 5.4 Implementasi Proses Filtering ................................................... 72

Source Code 5.5 Implementasi Proses Stemming ................................................ 72

Source Code 5.6 Implementasi Proses Bag of Words (BoW) ................................ 73

Source Code 5.7 Implementasi Proses Lexicon Based Features (LBF) .................. 74

Source Code 5.8 Implementasi Algoritme BPNN .................................................. 80

xv

DAFTAR LAMPIRAN

Lampiran 1 Database Stopword Bahasa Indonesia .............................................. 94

Lampiran 2 Database Kata Positif dan Negatif ..................................................... 98

Lampiran 3 Database Emoticon .......................................................................... 108

Lampiran 4 Database Tweet Ujaran Kebencian .................................................. 112