Judul : Sistem Penilaian Otomatis Jawaban Essay ...digilib.unmuhjember.ac.id/files/disk1/26/umj-1x-lukmanhaki-1276-1... · dan metode penyelesaiannya maka ... Gambar 3.2 Blok Diagram

1

Judul : Sistem Penilaian Otomatis Jawaban Essay Menggunakan Metode

Cosine Measure Pada Sistem E-Learning

Oleh : Lukman Hakim

NIM : 1010651098

Fakultas : Teknik

Jurusan : Teknik Informatika

SISTEM PENILAIAN OTOMATIS

JAWABAN ESSAY MENGGUNAKAN

METODE COSINE MEASURE PADA

SISTEM E-LEARNING

ABSTRAK

Pengajar biasanya melakukan

penilaian jawaban essay secara manual dari

sejumlah besar peserta didik dalam setiap

periode evaluasi tertentu seperti evaluasi

pertengahan semester dan akhir semester.

Penilaian manual ini membutuhkan banyak

waktu, tenaga, dan biaya. Disamping itu

jawaban essay memiliki model jawaban

secara bebas dalam bahasa alami sehingga

kesulitan dalam mengekstrak logika dan

memahami obyektifitas dari masing-masing

jawaban essay. Oleh karena itu, diperlukan

suatu sistem penilaian otomatis

menggunakan metode cosine measure.

Metode ini dibantu oleh thesaurus Wordnet

untuk mempertimbangkan aspek kesamaan

kata (synonym). Keduanya digunakan untuk

mengetahui tingkat kemiripan antara

jawaban pengajar dengan jawaban dari

masing-masing peserta didik. Uji coba

dilakukan terhadap data sintesis berupa data

kuisioner jawaban essay siswa dalam bahasa

inggris pada mata pelajaran tertentu.

Skenario pengujian melibatkan Wordnet dan

tanpa Wordnet untuk mengetahui nilai

precision dan recall.

Kata kunci: Penilaian, Cosine Measure,

Wordnet.

2

AUTOMATED ESSAY SCORING

SYSTEM USING COSINE MEASURE

METHOD IN E-LEARNING SYSTEM

Abstract

Teachers usually make an assessment

essay answers manually from a large

number of learners in any given evaluation

period as the evaluation of mid-semester and

final semester. Assessment of this manual

requires a lot of time, effort, and cost.

Besides it has a model answer essay answers

freely in natural language so that the

difficulty in extracting the logic and

understand the objectivity of each essay

answer. Therefore, required an automatic

scoring system using the cosine measure.

This method is assisted by a thesaurus

WordNet to take into account the similarity

of words (Synonym). Both are used to

determine the level of similarity between the

teacher answers with the answers from each

student. Trials conducted on the synthesis of

data in the form of data questionnaire

answers student essay in English on the

subject. Test scenarios involving Wordnet

and without wordnet to know the value of

precision and recall.

Key word : Assessment, Cosine Measure,

Wordnet.

2

PENDAHULUAN

1.1 Latar Belakang

Ujian dapat dilakukan secara online

mulai dari menjawab soal ujian hingga

proses penilaian. Pengajar biasanya

melakukan penilai jawaban essay secara

manual dari sejumlah besar peserta didik

dalam setiap periode evalusi tertentu seperti

evaluasi pertengahan semester dan akhir

semester. Penilaian manual ini

membutuhkan banyak waktu, tenaga, dan

biaya. Disamping itu jawaban essay

memiliki model jawaban secara bebas dalam

bahasa alami sehingga kesulitan dalam

mengekstrak logika dan memahami

obyektifitas dari masing-masing jawaban

essay. Semakin banyak jumlah jawaban

essay yang dikoreksi maka kualitas

penilaian yang diberikan semakin menurun

sehingga penilaiannya kurang objektif dan

efektif.

Sistem temu kembali informasi

memberikan alternatif metode similarity

seperti metode cosine measure, jaccard

measure dan probabilistik. Cosine measure

dipilih sebagai metode penyelesaian

penilaian essay karena kompatibilitasnya

dengan library apache lucene dan wordnet.

Apache lucene merupakan library indexing

dan searching jawaban pengajar dan

jawaban para peserta didik. Wordnet

merupakan theasurus bahasa inggris yang

mampu mendapatkan relasi kesamaan kata

(synonym). Relasi synonym ini penting

untuk dipertimbangkan agar setiap kata yang

memiliki arti yang sama tetapi berbeda kata

tidak dianggap kata yang berbeda.

Berdasarkan uraian permasalahan

dan metode penyelesaiannya maka

penelitian ini mengusulkan suatu sistem

penilaian Otomatis jawaban essay

menggunakan metode cosine measure pada

sistem e-Learning. Sistem ini digunakan

untuk menilai ujian dalam bentuk jawaban

essay. Pengujian sistem ini dilakukan pada

penilaian jawaban essay mata pelajaran

tertentu di tingkat Sekolah Menengah

Kejuruan (SMK).

1.2 Perumusan Masalah

1. Bagaimana proses pengukuran

tingkat kemiripan jawaban essay

pada sistem e-Learning

menggunakan cosine measure.

2. Bagaimana penerapan sistem

penilaian otomatis ke dalam sistem

e-Learning SMK.

3. Bagaimana mengetahui kinerja

sistem penilaian otomatis

3

berdasarkan nilai precision dan recall

dari skenario pengujian melibatkan

Wordnet dan tanpa Wordnet

1.3 Batasan Masalah

1. Jawaban essay yang dinilai dalam

sistem ini menggunakan bahasa

inggris.

2. Data uji coba yang digunakan adalah

data hasil ujian essay secara online

pada mata pelajaran Bahasa Inggris

di Jurusan Rekayasa Perangkat

Lunak SMKN 1 Tanggul

3. Tipe jawaban essay yang dinilai

dalam sistem ini bersifat definitive

(uraian tentang definisi atau

pengertian dari suatu objek tertentu).

4. Aplikasi e-learning yang digunakan

adalah moodle.

1.4 Tujuan dan Manfaat Penelitian

Tujuan dari penelitian ini sebagai

berikut.

1. Membangun suatu sistem

penilaian otomatis jawaban

essay pada sistem e-learning

dengan mengimplementasikan

pengukuran cosine measure.

2. Mengintegrasikan sistem

penilaian otomatis jawaban

essay pada sistem e-learning.

3. Mengetahui kinerja sistem

penilaian otomatis berdasarkan

nilai precision dan recall dari

skenario pengujian melibatkan

Wordnet dan tanpa Wordnet.

Manfaat dari penelitian ini sebagai

berikut.

1. Membantu pengajar dalam

memberikan penilaian jawaban

essay siswa secara objektif dan

efektif.

2. Mengurangi waktu, tenaga

serta biaya yang harus

dikeluarkan pengajar dalam

melakukan penilaian.

4

METODE PENELITIAN

2.1 Metodologi

Pada penelitian ini, langkah-langkah

yang dilakukan sebagai berikut.

1. Studi Literatur

Tahap ini untuk mendapatkan

informasi dari literatur dan analisis

tentang sistem temu kembali

informasi, metode cosine measure

serta model-model pembobotan yang

digunakan pada penelitian

sebelumnya. Disamping itu dipelajari

juga penerapan metode cosine

measure pada model vector space,

dan thesaurus WordNet. Hasil studi

literatur diuraikan secara rinci dalam

bab 2.

2. Rancangan dan Arsitektur Sistem

Tahap ini membuat rancangan dan

arsitektur sistem penilaian essay

otomatis. Rancangan ini berisi

gambaran sistem, langkah dan proses

implementasinya. Hasil tahap ini

diuraikan secara rinci dalam bab 3.

3. Implementasi

Tahap ini menerjemahkan rancangan

menjadi kode program berupa kakas

bantu untuk penyelesaian masalah.

Kakas bantu ini menerapkan

arsitektur sistem penilaian otomatis.

4. Evaluasi dan Uji Coba

Tahap ini untuk mengetahui kinerja

dari penggunaan metode cosine

measure yang diajukan. Uji coba

dilakukan terhadap e-Learning

moodle. Berbagai skenario pengujian

dilakukan untuk mendapatkan

perbandingan metrik recall dan

precision.

2.2 Rancangan dan Arsitektur Sistem

Jawaban Siswa

(text)

Kunci Jawaban Guru

(text)

Database

Sinonim

Database Moodle

Input

Membandingkan

Jawaban Dengan Kunci

Jawaban (Similarity)

Text

preprocessin

Penilaian

Nilai Akhir

Proses

Output

5

Gambar 3.1 Desain Arsitektur Sistem

Penilaian Otomatis Jawaban Essay.

3.3 Tahapan penilaian

3.3.1 Praproses

Dalam penelitian ini

dilakukan praproses meliputi

tokenisasi, stopword removal

dan stemming.

Proses tokenisasi

melakukan pemotongan

kalimat menjadi kata (term).

Kemudian kata-kata yang

dihasilkan dibandingkan

dengan daftar stoplist untuk

menghilangkan kata atau

tanda baca yang tidak

relevan. Proses ini disebut

stopword removal sehingga

kata yang tidak relevan

sebagai kata kunci akan

dihilangkan. Selanjutnta akan

dilakukan proses Stemming

untuk membentuk kata dasar.

Proses ini ditunjukkan dalam

Gambar 3.2.

Gambar 3.2 Blok Diagram

Praproses.

3.3.2 Proses Similarity

Setelah dokumen

menjalani proses tokenisasi,

remove removal, dan

stemming, maka akan

didapatkan daftar kata dari

dokumen tersebut.

Digunakan perhitungan

dimana normalisasinya

dilakukan pada saat

pembobotan. Langkah-

langkahnya adalah sebagai

berikut :

3.3.2.1 Metode Term

Frequency (tf)

Membuat daftar

kata dari dokkumen dan

menghitung frekuensi

kemunculannya.

Tokenisasi Stopword

Removal

Stemming

key_answer

answer

6

Tabel 3.1. Daftar frekuensi kata

(term frequency)

documents term Tf

Dok_1 T1 1

T2 2

T3 3

Dok_2 T2 3

T3 2

T4 1

3.3.2.2 Metode Invers

Document

Frequency (idf)

Perhitungan idf

mengacu pada

persamaan 3, sehingga

berdasarkan daftar kata

pada tabel 1 dapat

dihitung idf untuk tiap

kata-nya, sebagai

berikut :

Hubungan term TI

pada Dok_1 dan Dok_2 :

= log (2/1) + 1

= 0,301 + 1

= 1,301

Sehingga

dengan cara yang sama

untuk semua kata yang

lain, akan didapatkan

hasilnya seperti tabel 2.

Tabel 3.2. Hasil perhitungan idf

term Tf

T1 1,301

T2 1

T3 1

T4 1,301

3.3.2.3 Metode TF –

IDF

Pembobotan

dengan metode tf – idf,

dilakukan dengan

mengalikan hasil

pembobotan antara

metode tf dengan idf

seperti persamaan 6.

Sehingga akan didapat

bobot masing-masing

term seperti pada tabel

3.3.

7

Tabel 3.3. Perhitungan bobot tf – idf

documents term tf * idf

Dok_1 T1 1,301

T2 2

T3 3

Dok_2 T2 3

T3 2

T4 1,301

3.3.3 Perhitungan tingkat

similarity dengan Cosine

Measure

Berdasarkan

persamaan 9 yang telah

dirumuskan sebelumnya,

maka tingkat kemiripan antar

dokumen bisa didapatkan

dengan membandingkan

antara kedua dokumen yang

bersesuaian dengan

menggunakan persamaan

sebagai berikut [salton,

1988]:

similarity( )

=

Sehingga tingkat similarity

antara dokumen 1 dengan

dokumen 2 sebesar

0,8167376. Dengan demikian

tinggal ditentukan batas nilai

similarity yang akan

digunakan sebagai parameter

penentuan bahwa sebuah

dokumen dikatakan memiliki

isi yang setara dengan

dokumen yang lain.

3.3.4 Data Pengujian

Precision dan Recall

Soal 1 : Explain what is

meant information technology ?

Jawaban Kunci : Information

technology is a general term

describes any technology that

help people.

Jawaban Siswa01 :

Information techonology is a general

term. Score : 0.50

8

Jawaban Siswa02 : Term

General a is technology Information.

Score : 0.50

Jawaban Siswa03 :

Information techonology is a general

term. Score 0.50

Jawaban Siswa04 : Term

information general a is

tecnologyany describes

people help. Score : 0.80

Jawaban Siswa05 :

Information technology is a

general term that describes

technology people. Score :

0.80

Langkah selanjutnya mencari

nilai ambang batas/ threshold

dari ketiga nilai Siswa.

Threshold : (0.50 + 0.50 +

0.50 + 0.80 + 0.80) / 3 = 0.62

Menurut threshold yang

didapatkan, hasilnya bisa dilihat di

Tabel 4.3.

Tabel 3.4 Kategori kebenaran

berdasarkan nilai Threshold

Benar 0.80 0.80

Salah 0.50 0.50 0.50

Untuk mengetahui tingkat

akurasi nilai tersebut

membutuhkan beberapa

pengujian salah satunya


Penjabaran Rumus :

Precision = Jumlah nilai

benar “relevan”, Terambil

“retrieve” / (Jumlah nilai


“retrieve” + Jumlah Nilai

Tidak Benar “not relevan”,

terambil “retrieve”)

Recall = Jumlah nilai benar

“relevan”, Terambil

“retrieve” / (Jumlah nilai


“retrieve” + jumlah nilai

benar “relevan”, tidak

terambil “not retrieve”)

Pengujian ini membutuhkan

bantuan seorang pakar dalam

hal ini guru untuk melakukan

penilaian secara manual.

Hasil dari perhitungan

manual pakar bisa di lihat di

Tabel 3.5.

Tabel 3.5 Tingkat akurasi

berdasarkan pengujian precision dan

recall

9

Relevan Not

Relevan

Precision Recall

Retrieve 1 1

50 33.34 Not

Retrieve

2 1

3.4 Desain Sistem

3.4.1 Use Case

3.4.2

Gambar 3.3 Use case diagram

3.4.3 Activity Diagram

3.4.2.1 Proses

perhitungan

Gambar 3.4 Proses

Perhitungan

3.4.2.2 Input Nilai

Gambar 3.5 Input Nilai

3.4.2.3 Baca DB

Gambar 3.6 Baca DB

Jawaban Pelajar Jawaban Kunci

Load DB

10

3.4.4 Sequence Diagram

Gambar

3.7 Sequence Diagram

3.4.5 State Chart

Gambar 3.8 State Chart

3.4.6 Collaboration

Diagram

Gambar 3.9 Collaboration Diagram

11

3.4.7 Class Diagram

Gambar 3.10 Kelas Diagram

12

HASIL DAN PEMBAHASAN

Bab ini akan membahas tentang hasil

evaluasi uji coba. Pembahasan terdiri dari

lingkungan uji coba, skenario yang

melibatkan wordnet dan tanpa wordnet

untuk mengetahui nilai precision dan recall

dan evaluasi hasil uji coba untuk mengetahui

tingkat kemiripan antara jawaban pengajar

dengan jawaban dari masing-masing peserta

didik.

4.1. Lingkungan Uji Coba

Lingkungan uji coba pada penelitian

ini meliputi perangkat keras dan perangkat

lunak dengan spesifikasinya ditunjukkan

dalam Tabel 4 dan 5 sebagai berikut :

Tabel 4.1 Spesifikasi Perangkat Keras

No Nama Spesifikasi

1 Processor Intel Core 2 Duo

2 Memori 2.00 GB

3 Harddisk 350 GB

4 Merk Satellite C600 Toshiba

Tabel 4.2. Spesifikasi Perangkat Lunak

No Nama Spesifikasi

1 Sistem Operasi Windows 7 Ultimate

32 bit OS

2 GUI

Development

JDK 6.18, Java

NetBeans 7.1.2

3 Library Apache Lucene 3.0,

RitaWordnet

4 Database MySQL Server

5 Web Server XAMPP

4.2. Skenario Uji Coba

Pada penelitian ini digunakan dua

jenis data yaitu 5 jawaban kunci (pengajar)

dan 40 jawaban siswa untuk masing-masing

jawaban kunci dari pengajar sehingga total

jawaban siswa adalah 200. Kedua jenis data

tersebut berasal dari database e-Learning

moodle. Data ini dilakukan praproses

(tokenisasi, stopword removal,stemming),

pembobotan tf - idf dan pengukuran derajat

kemiripan cosine. Pengujian ini melibatkan

aspek kesamaan kata (synonym) dan juga

tanpa synonym untuk mengetahui besarnya

pengaruh dari synonym. Nilai ambang batas

(threshold) diambil dari rata-rata scoring

untuk menunjukkan nilai yang memiliki

kebenaran lebih tinggi atau tidak. Threshold

ini dilakukan untuk mengetahui nilai


4.3. Evaluasi Hasil Uji Coba

4.3.1 Nilai Cosine Tanpa

Wordnet

13

Tabel 4.3. Soal 1 dengan 40 jawaban Siswa

Tanpa Wordnet

Soal 1

S 1 2 3 4 5 6 7 8 9 1 1 1 1

N 0 0 0 0 0 0 0 0 0 0 0 0 0

S 1 1 1 1 1 1 2 2 2 2 2 2 2

N 0 0 0 0 0 0 0 0 0 0 0 0 0

S 2 2 2 3 3 3 3 3 3 3 3 3 3

N 0 0 0 0 0 0 0 0 0 0 0 0 0

S 4

N 0

Gambar 4.1. Grafik Soal 1 dengan 40

Jawaban Siswa Tanpa Wordnet


Tanpa Wordnet

Soal 2

S 1 2 3 4 5 6 7 8 9 1 1 1 1

N 1 0 0 0 0 0 0 0 0 0 1 0 0

S 1 1 1 1 1 1 2 2 2 2 2 2 2

N 0 0 0 0 0 0 0 1 0 0 0 0 0

S 2 2 2 3 3 3 3 3 3 3 3 3 3

N 0 0 0 0 1 0 0 0 0 0 0 0 0

S 4

N 0

Gambar 4.2.Grafik Soal 2 dengan 40



Tanpa Wordnet

Soal 3

S 1 2 3 4 5 6 7 8 9 1 1 1 1

N 1 0 0 0 0 0 0 0 0 0 1 0 0

S 1 1 1 1 1 1 2 2 2 2 2 2 2

N 0 0 0 0 0 0 0 1 0 0 0 0 0

S 2 2 2 3 3 3 3 3 3 3 3 3 3

N 0 0 0 0 1 0 0 0 0 0 0 0 0

S 4

N 0



14


Tanpa Wordnet

Soal 4

S 1 2 3 4 5 6 7 8 9 1 1 1 1

N 1 0 0 0 0 0 0 0 0 0 1 0 0

S 1 1 1 1 1 1 2 2 2 2 2 2 2

N 0 0 0 0 0 0 0 1 0 0 0 0 0

S 2 2 2 3 3 3 3 3 3 3 3 3 3

N 0 0 0 0 1 0 0 0 0 0 0 0 0

S 4

N 0




Tanpa Wordnet

Soal 5

S 1 2 3 4 5 6 7 8 9 1 1 1 1

N 1 0 0 0 0 0 0 0 0 0 1 0 0

S 1 1 1 1 1 1 2 2 2 2 2 2 2

N 0 0 0 0 0 0 0 1 0 0 0 0 0

S 2 2 2 3 3 3 3 3 3 3 3 3 3

N 0 0 0 0 1 0 0 0 0 0 0 0 0

S 4

N 0

Gambar 4.5 Grafik Soal 5 dengan 40


4.3.2 Nilai Cosine Menggunakan

Wordnet


Menggunakan Wordnet

Soal 1

S 1 2 3 4 5 6 7 8 9 1 1 1 1

N 0 0 0 0 0 0 0 0 0 0 0 0 0

S 1 1 1 1 1 1 2 2 2 2 2 2 2

N 0 0 0 0 0 0 0 0 0 0 0 0 0

S 2 2 2 3 3 3 3 3 3 3 3 3 3

N 0 0 0 0 0 0 0 0 0 0 0 0 0

S 4

N 0


Jawaban Siswa Menggunakan Wordnet

15


Menggunakan Wordnet

Soal 2

S 1 2 3 4 5 6 7 8 9 1 1 1 1

N 1 0 0 0 0 0 0 0 0 0 1 0 0

S 1 1 1 1 1 1 2 2 2 2 2 2 2

N 0 0 0 0 0 0 0 1 0 0 0 0 0

S 2 2 2 3 3 3 3 3 3 3 3 3 3

N 0 0 0 0 1 0 0 0 0 0 0 0 0

S 4

N 0




Menggunakan Wordnet

Soal 3

S 1 2 3 4 5 6 7 8 9 1 1 1 1

N 1 0 0 0 0 0 0 0 0 0 1 0 0

S 1 1 1 1 1 1 2 2 2 2 2 2 2

N 0 0 0 0 0 0 0 1 0 0 0 0 0

S 2 2 2 3 3 3 3 3 3 3 3 3 3

N 0 0 0 0 1 0 0 0 0 0 0 0 0

S 4

N 0

Gambar 4.8 Grafik Soal 3 dengan 40



Menggunakan Wordnet

Soal 4

S 1 2 3 4 5 6 7 8 9 1 1 1 1

N 1 0 0 0 0 0 0 0 0 0 1 0 0

S 1 1 1 1 1 1 2 2 2 2 2 2 2

N 0 0 0 0 0 0 0 1 0 0 0 0 0

S 2 2 2 3 3 3 3 3 3 3 3 3 3

N 0 0 0 0 1 0 0 0 0 0 0 0 0

S 4

N 0



16


Menggunakan Wordnet

Soal 5

S 1 2 3 4 5 6 7 8 9 1 1 1 1

N 1 0 0 0 0 0 0 0 0 0 1 0 0

S 1 1 1 1 1 1 2 2 2 2 2 2 2

N 0 0 0 0 0 0 0 1 0 0 0 0 0

S 2 2 2 3 3 3 3 3 3 3 3 3 3

N 0 0 0 0 1 0 0 0 0 0 0 0 0

S 4

N 0



4.3.3 Tabel Perbandingan

Precision dan Recall dengan atau tanpa

Wordnet

Tabel 4.13. Perbandingan Precision

dan Recall dengan atau tanpa Wordnet

Tabel 4.15. Menyatakan bahwa penilaian

jawaban essay dengan memperhatikan

aspek kesamaan kata atau synonym

dapat meningkatkan nilai precision

secara keseluruhan sebesar 1.685185184

dan recall sebesar 4.46031746 dari pada

tidak memperhatikan synonym.

Peningkatan ini sebenarnya tidak terjadi

pada semua soal. Sebagai contoh soal no

3 dan no 5 terjadi penurunan, akan tetapi

secara keseluruhan terjadi peningkatan.

Gambar 4.11. Grafik Precision Hasil

Perbandingan

Gambar 4.12. Grafik Recall Hasil

Perbandingan

17

4.3.4 Penginputan Nilai ke Database

Moodle

Berikut hasil dari penginputan nilai ke

database moodle :

Gambar 4.13. Hasil Nilai di e-Learning

Moodle

18

KESIMPULAN DAN SARAN

5.1. Kesimpulan

Penelitian ini membangun sistem

penilaian jawaban essay pada sistem e-

Learning menggunakan metode cosine

measure untuk mendapatkan nilai skor

jawaban kunci masing-masing soal dengan

jawaban siswa dari masing-masing soal.

Proses penilaian dimulai dari mengambil

jawaban kunci dan jawaban siswa dari

database e-Learning moodle, dan dilakukan

pembelajaran (training) untuk menghasilkan

nilai skor yang akan diupdate ke dalam

database e-Learning moodle.

Berdasarkan pengujian yang

dilakukan dapat disimpulkan bahwa

penilaian jawaban essay dengan

memperhatikan aspek kesamaan kata atau

synonym dapat meningkatkan nilai precision

secara keseluruhan sebesar 1.685185184 dan

recall sebesar 4.46031746 dari pada tidak

memperhatikan synonym. Fakta ini

menunjukkan pengaruh penggunaan aspek

synonym dalam sistem penilaian. Semakin

tinggi nilai Precision dan Recall maka

semakin akurat tingkat akurasi dari hasil

skor yang dihasilkan. Menurut hasil

precision dan recall nilai skor uang

dihasilkan masih jauh dari sempurna

precision : 50 % dan recall : 33.34 % karena

proses yang dilakukan mencari nilai

kemiripan berdasarkan kata (term), belum

mampu mencari nilai berdasarkan struktur

kalimat.

5.2. Saran

Berikut ini adalah beberapa saran

yang diajukan untuk perbaikan dan

pengembangan lebih lanjut.

1. Pengembangan sistem dapat

mengenali kata-kata antonim yang

sebenarnya memiliki makna sama

seperti always late dan never on time

2. Sistem ini juga dapat

mempertimbangkan unsur POS (part

of speech) pada struktur kalimat

seperti Noun, Verb, Adjective, dan

Adverb sebagaimana pada

pemrosesan bahasa alami (Natural

Language Processing).

19

DAFTAR PUSTAKA

Sulistyo, W., (2008), “Auto Matching Antar

Dokumen Dengan Metode Cosine

Measure”, ITS : Surabaya.

Fuat, R., (2010), “Sistem Penilaian Esai

Otomatis Pada E-Learning Dengan

Metode Cosine Measure”, ITS :

Surabaya.

Suharso, W., (2012), “Sistem Penambang

Term Indikator Berbobot Pada

Pembelajaran Pengklasifikasian

Kebutuhan Non-Fungsional”,

Jurnal MMT-ITS, Surabaya.

Porter, M.F.(2001), Snowball: A language

for Stemming Algorithms,

Computer Laboratory, Cambridge

(England).

Porter, M.(1980), An algorithm for suffix

stripping, Program 13(3), 130{137}

Gerard Salton, Christopher Buckley(1998),

“Term-Weighting Approaches In

Automatic Text Retrieval”,

Information Processing &

Management Vol. 24, No. 5, pp.

513-523, 1988.

Manu Kunchady (2006), “Text Mining

Application Programming”,

Thomson Learning Inc, ISBN 1-

58450-460-9, 2006.

Rolly Intan, Andrew Difeng (2006), “HARD

: Subject-base Search Engine

menggunakan TF-IDF dan

Jaccard’s Coefficient”, Jurnal

Teknik Informatika Universitas

Kristen Petra, 2006.

Kaplan, R.M. (1995), “A Methode for

Tokenizing Text”, Palo Alto

Research Center (Festschrift In The

Honor Of Prof. Kimmo

Koskenniemi’s 60th Anniversary).

Winarsono, D.S., (2009), “Sistem Penilaian

Otomatis Kemiripan Kalimat

Menggunakan Syntactic Semantic

Similarity pada Sistem E-

Learning”, Program Magister,

Teknik Informatika, Institut

Teknologi Sepuluh Nopember

Surabaya.

Judul : Sistem Penilaian Otomatis Jawaban Essay ...digilib.unmuhjember.ac.id/files/disk1/26/umj-1x-lukmanhaki-1276-1... · dan metode penyelesaiannya maka ... Gambar 3.2 Blok Diagram

Documents