Kebolehpercayaan_Dalam Pendidikan.pdf

UNIVERSITI PENDIDIKAN SULTAN IDRIS

SUBJEK:

KPN 6034

TEORI PSIKOMETRIK

PENSYARAH:

PROFESOR MADYA DR. SITI ESAH MOKSHEIN

TAJUK NOTA:

RELIABILITY

DISEDIAKAN OLEH:

SYAHIDA IRYANI BINTI MOHD YUSOFF

KURSUS:

SARJANA PENDIDIKAN

PENGUKURAN DAN PENILAIAN PENDIDIKAN

1

ISI KANDUNGAN

1. Kaedah Pra-pasca (Test-Retest @) Uji-UlangUji): Pearson ................................................... 3

1.1. Menggunakan Excel ......................................................................................................... 3

1.2. Menggunakan SPSS ......................................................................................................... 4

2. Konsistensi Dalaman ............................................................................................................... 7

2.1. Kaedah Ujian Bahagi Dua (Split-half): Spearman-Brown ............................................... 7

2.1.1. Menggunakan Excel.................................................................................................. 9

2.1.2. Menggunakan SPSS .................................................................................................. 9

3. Konsistensi Dalaman: Kaedah Cronbach-Alpha ................................................................... 12

3.1. Menggunakan Excel ....................................................................................................... 13

3.1. Menggunakan SPSS ....................................................................................................... 13

4. Konsistensi Dalaman: Kuder Richardson .............................................................................. 17

4.1. KR20 .............................................................................................................................. 18

4.2. KR21 .............................................................................................................................. 19

5. Ujian Bentuk Setara (Parallel Form) ................................................................................... 19

6. Alternate Form ...................................................................................................................... 20

7. Inter-rater Reliability ............................................................................................................ 21

8. Summarize ............................................................................................................................. 22

9. Reference ............................................................................................................................... 24

2

KEBOLEHPERCAYAAN DALAM PENYELIDIKAN

Terdapat beberapa kaedah yang digunakan untuk membina kebolehpercayaan pengukuran dalam

penyelidikan kuantitatif iaitu:

1. Pra-pasca (test-retest) (Instrumen)

2. Konsistensi Dalaman

i. Split-half (instrumen)

ii. Kuder-Richardson formula (item betul salah/dichotomos item)

iii. Cronbach Alpha (item likert)

3. Equivalent/Parallel Form

4. Alternate Forms

5. Inter-rater reliability

Ditunjukkan juga kaedah pengiraan menggunakan Microsoft Excel dan software Statistical

Package for the Social Sciences (SPSS) bagi4 kaedah pengiraan iaitu pra-pasca, split-half,

Spearman-Brown dan Kuder Richardson.

3

1. Kaedah Pra-pasca (Test-Retest @) Uji-UlangUji): Pearson

Melalui kaedah ujian pra-pasca (test-retest reliability), jikaujian yang sama diberikan pada

kali yang kedua dalam satu jangka masa tertentu dan keputusannya tetap akan sama dengan

keputusan kali pertama, maka ujian tersebut dikatakan mempunyai kebolehpercayaan yang

tinggi.

Pengkaji memilih satu kumpulan subjek (biasanya antara 30 hingga 50 subjek) yang

mempunyai ciri-ciri yang sama dengan subjek populasi kajiannya untuk menjalankan ujian

pra-pasca.

Misalnya, satu ujian untuk mengetahui gaya belajar pelajar yang sama diberi kepada

sekumpulan subjek kajian rintis pada bulan Januari dan bulan Jun. Keputusan menunjukkan

bahawa kumpulan subjek tersebut memperoleh nilai yang sama dalam ujian pra dan ujian

pasca tersebut. Maka, ujian tersebut dikatakan mempunyai kebolehpercayaan yang tinggi dan

sesuai digunakan untuk menguji subjek dalam populasi kajian.

Kebolehpercayaan kaedah ujian pra-pasca ini menggunakan analisis atau formula Pearson

seperti berikut:

1.1. Menggunakan Excel

Contohnya: Untuk melihat kebolehpercayaan instrumen gaya pembelajaran pelajar (boleh

percaya @ tidak).

2222

yynxxn

yxxynrxy

2ujianskor

1ujianskor

pelajarbilangan

y

x

n

4

1.2. Menggunakan SPSS

Di bawah merupakan data bagi 3 item auditori 108 orang pelajar Tingkatan 3 pra-pasca.

Langkah-langkah Analisis kebolehpercayaan Ujian Pra-pasca

a) Masukkan data ke dalam SPSS Data Editor

5

b) Pilih menu Analyze dan seterusnya Correlate dan Bivarate untuk membuka kotak

dialog Bivarate Correlations.

c) Pilih keenam-enam variable dan tekan butang di sebelahnya untuk memasukkan ke dalam

petak Variables. Klik Pearson di bawah Correlations Coefficients. Klik OK.

6

d) Keputusan Analisis

Correlations

A1 PascaA1 A2 PascaA2 A3 PascaA3

A1 Pearson Correlation 1 .739** .033 -.086 -.030 .119

Sig. (2-tailed) .000 .731 .375 .760 .219

N 108 108 108 108 108 108

PascaA1 Pearson Correlation .739** 1 -.023 -.016 -.110 .051

Sig. (2-tailed) .000 .810 .866 .258 .600

N 108 108 108 108 108 108

A2 Pearson Correlation .033 -.023 1 .316** .061 .054

Sig. (2-tailed) .731 .810 .001 .527 .579

N 108 108 108 108 108 108

PascaA2 Pearson Correlation -.086 -.016 .316** 1 -.035 -.083

Sig. (2-tailed) .375 .866 .001 .719 .391

N 108 108 108 108 108 108

A3 Pearson Correlation -.030 -.110 .061 -.035 1 .673**

Sig. (2-tailed) .760 .258 .527 .719 .000

N 108 108 108 108 108 108

PascaA3 Pearson Correlation .119 .051 .054 -.083 .673** 1

Sig. (2-tailed) .219 .600 .579 .391 .000

N 108 108 108 108 108 108

**. Correlation is significant at the 0.01 level (2-tailed).

Keputusan ujian korelasi Pearson di atas menunjukkan bahawa bagi kumpulan subjek ini

(n=108), ujian korelasi pra-pasca bagi 3 item auditori ialah 0.74, 0.32 dan 0.67 masing-

masing (pada aras kesignifikan p<0.05). Ini bererti bahawa instrument kajian ini sesuai dan

boleh dipercayai untuk memperoleh skor yang stabil daripada subjek lain yang mempunayi

siri-ciri yang sama dengan kumpulan subjek kajian ini.

7

2. Konsistensi Dalaman

2.1. Kaedah Ujian Bahagi Dua (Split-half): Spearman-Brown

Kelemahan ujian pra-pasca ialah responden akan menjawab item-item yang sama dalam

kedua-dua ujian pra dan pasca. Keadaan ini mungkin menyebabkan reponden merasa bosan

dan tidak dapt menjawab dengan baik dalam ujian pasca. Responden juga mungkin akan

berubah fikirannya kerana kesan sejarah dan kesan kematangan (setelah melalui satu tempoh

masa yang tertentu, keadaan responden tidak sama lagi kerana telah memperoleh pengalaman

baru dan lebih matang dalam pemikiran). Kaedah pemisahan separa (split-half) dapat

mengurangkan masalh ujian pra-pasca ini kerana responden hanya menjawab sekali sahaja

dalam kaedah ini.

Melalui kaerdah pemisahan separa, item-item dalam suatu ujian dipisahkan kepada dua

kumpulan item (dua bahagian) secara rawak. Jumlah skor bagi kedua-dua bahagian item

tersebut kemudian dikira, dan seterusnya nilai korelasi di antara kedua-dua kumpulan skor

tersebut dianalisis. Jika nilai korelasi bagi kedua-dua skor tersebut tinggi, maka item-item

ujian tersebut dikiatakan mempunyai kebolehpercayaan dalaman yang tinggi. Nilai pekali

korelasi antara 0.75 hingga 0.95 menunujukkan kebolehpercayaan yang memuaskan.

Program SPSS digunakan untuk mengira pekali pemisahan spera dengan cara menilai

keseragaman antara item-item kumpulan pertama dan kumpulan kedua (bahagian pertama

dan bahagian kedua) dalam analisis kebolehpercayaan. Sebelum menjalankan statistik ini,

pengkaji perlu memastikan bahawa item-item yang dimasukkan ke dalam bahagian pertama

dan bahagian kedua adalah seimbang. Cara ini boleh dilakukan dengan meletakkan item-item

ynag mengukur konsep yang sama dalam kumpulan berpasangan dan seterusnya ke dalam

dua kumpulan item.

Split-Half Reliability is a useful measure when impractical or undesirable to assess reliability

with two tests or to have two test administrations (because of limited time or money) (Cohen

& Swerdlik, 2001).

8

How do I use Split-Half?

1) 1st-divide test into halves. The most commonly used way to do this would be to

assign odd numbered items to one half of the test and even numbered items to the

other, this is called, Odd-Even reliability.

2) 2nd- Find the correlation of scores between the two halves by using the Pearson

formula.

3) 3rd- Adjust or reevaluate correlation using Spearman-Brown formula which increases

the estimate reliability even more.

The longer the test the more reliable it is so it is necessary to apply the Spearman-Brown

formula to a test that has been shortened, as we do in split-half reliability (Kaplan &

Saccuzzo, 2001).

Kebolehpercayaan kaedah ujian pemisahan separa ini menggunakan analisis atau formula

Equal Length Spearman-Brown seperti berikut:

r = correlation

r1/2,1/2 = kolerasi antara 2 subset

21,21

21,21

1

2

r

rrxx

9

2.1.1. Menggunakan Excel

Contoh: untuk mengetahui kebolehpercayaan instrumen gaya pembelajaran pelajar.

2.1.2. Menggunakan SPSS

Langkah-langkah Analisis Kebolehpercayaan Ujian Pemisahan Separa

a) Masukkan data ke dalam SPSS Data Editor. Klik menu Analyze dan Scale dan

seterusnya memilih Reliability Analisis untuk membuka kotak dialog Reliability

Analisis. Pilih item-item bahagian pertama iaitu item 1, 3, 5 dan 7 satu persatu untuk

dimasukkan ke petak items dengan menekan anak panah di sebelah kanannya.

10

b) Klik petak Model di sebelah bawah untuk memilih Split-half. Kemudian memasukkan

item-item bahagian kedua iaitu item 2, 4, 6 dan 8 ke dalam petak Items.

11

c) Klik Satistik untuk membuka kotak dialog Reliability Analysis: Statistics. Pastikan

item, Scale dan Correlations di dalamnya dipilih. Kemudian, klik butang Continue dan

Ok.

d) Keputusan Analisis

Reliability Statistics

Cronbach's Alpha Part 1 Value .352

N of Items 4a

Part 2 Value .426

N of Items 4b

Total N of Items 8

Correlation Between Forms .437

Spearman-Brown Coefficient Equal Length .608

Unequal Length .608

Guttman Split-Half Coefficient .606

a. The items are: A1, A3, A5, A7.

b. The items are: A2, A4, A6, A8.

12

Hasil analisis di atas menunjukkan bahawa pekali korelasi Equal-length Spearman-Brown

untuk kebolehpercayaan ialah 0.6. Maka, kebolehpercayaan instrumen gaya belajar adalah

kurang memuaskan.

3. Konsistensi Dalaman: Kaedah Cronbach-Alpha

Kaedah konsistensi dalaman dilakukan untuk mencari nilai korelasi antara skor setiap item

dalam ujian dengan jumlah skor bagi semua item dalam ujian (skor indeks ujian). Dalam

kaedah ini, item-item yang mempunyai nilai korelasi yang tinggi dengan skor indeks ujian

mempunyai kebolehpercayaan yang tinggi, manakala item-item yang mempunyai korelasi

yang rendah mempunyai kebolehpercayaan yang rendah dan tersingkir daripada ujian

tersebut. Kaedah ini sering digunakan ialah dengan mengira pekali kebolehpercayaan

Cronbach-Alpha untuk statistik kebolehpercayaan instrumen kajian.

Dalam statistik kebolehpercayaan instrumen kanian menggunakan pekali Cronbach-Alpha,

nilai alpha 0.65 hingga 0.95 dianggap memuaskan kerana nilai yang terlalu rendah

menunjukkan keupayaan item-item instrumen kajian mengukur konsepkonsep dalam kajian

adalah rendah. Manakala nilai alpha yang teralau tinggi mungkin menunjukkan semua item

adalah serupa atau bertindih antara satu sama lain dan mneggunakan item-item yang

bertindih antara satu sama lain adalah tidak diperlukan.

Kebolehpercayaan kaedah ujian konsitensi dalaman yang menggunakan Cronbach-Alphaini

mempunyai formula seperti berikut:

Ia berkait dengan KR20, cuma KR20 diguna bila data adalah berbentuk dichotomos sahaja.

2

2

11

xk

k

N

xx2

2var,

13

3.1. Menggunakan Excel

Contoh: Untuk mengetahui kebolehpercayaan instrumen kajian gaya pembelajaran pelajar.

3.1. Menggunakan SPSS

Langkah-langkah Analisis Kebolehpercayaan Ujian Konsistensi Dalaman: Cronbach

Alpha

a) Masukkan data ke dalam SPSS Data Editor. Klik menu Analyze dan Scale dan

seterusnya Reliability Analysis untuk membuka kotak dialog Reliability Analysis.

14

b) Pilih semua item untuk dimasukkan ke dalam petak Items dengan menekan butang anak

panah di sebelah kanannya. Pilih petak Model di sebelah bawah untuk memilih Alpha.

Klik Statistics untuk membuka kotak dialog Reliability Analysis: Statistics.

15

c) Pastikan Scale dan Scale if item deleted di dalam kotak dialog Reliability Analysis:

Statistics dipilih. Klik butang Continue dan Ok.

16

d) Keputusan Analisis.

Reliability Statistics

Cronbach's

Alpha N of Items

.581 8

Item-Total Statistics

Scale Mean if

Item Deleted

Scale Variance if

Item Deleted

Corrected Item-

Total Correlation

Cronbach's

Alpha if Item

Deleted

A1 19.90 8.653 .118 .589

A2 19.48 7.523 .271 .553

A3 20.29 7.459 .274 .552

A4 19.58 7.143 .403 .509

A5 19.97 7.149 .377 .517

A6 20.17 7.972 .141 .598

A7 19.70 7.668 .288 .547

A8 19.90 7.233 .424 .505

Keputusan analisis menunjukkan bahawa bagi instrument kajian ini, pekali

kebolehpercayaan alpha Cronbach ialah 0.581. Nilai kebolehpercayaan ini kurang

memuaskan. Walau bagaimanapun, dengan melihat nilai “If item deleted” didapati jika

A1 dan A6 disingkirkan, pekali kebolehpercayaaan alpha akan berubah menjadi 0.589

atau 0.598 (meningkat sedikit).

Berdasarkan keputusan di atas, pengkaji balik ke data editor dan menyingkirkan A1 dan

A6. Seterusnya, mengulangi analisis (Langkah a hingga c). Kemudian, analisis baru

ditunjukkan seperti dibawah:

17

Reliability Statistics

Cronbach's

Alpha N of Items

.605 6

Item-Total Statistics

Scale Mean if

Item Deleted

Scale Variance if

Item Deleted

Corrected Item-

Total Correlation

Cronbach's

Alpha if Item

Deleted

A2 14.12 5.284 .344 .559

A3 14.93 5.658 .222 .611

A4 14.22 5.240 .396 .537

A5 14.61 5.305 .350 .556

A7 14.34 5.611 .306 .574

A8 14.54 5.279 .432 .525

Didapati daripada analisis kedua bahawa, jika A3 disingkirkan, nilai alpha akan meningkat dari

0.605 kepada 0.611. Jadi, pengkaji harus menyingkirkan A3 dan proses ini akan berulang

sehinggalah tiada nilai item yang sekiranya disingkirkan melebihi nilai alpha yang dianalisis.

4. Konsistensi Dalaman: Kuder Richardson

There are two type of Kuder-Richardson Formula witch are Kuder-Richardson 20 (KR 20)

and Kuder-Richardson 21 (KR 21).

These are alternative formulas for calculating how consistent subject responses are among

the questions on an instrument. Items on the instrument must be dichotomously scored (0 for

incorrect and 1 for correct). All items are compared with each other, rather than half of the items

with the other half of the items. It can be shown mathematically that the Kuder-Richardson

reliability coefficient is actually the mean of all split-half coefficients resulting from different

splitting of a test. KR 21 assumes that all of the questions are equally difficult. KR 20 does not

assume that.

18

Formula kebolehpercayaan kaedah ujian konsitensi dalaman yang menggunakan KR20 dan

KR21 adalah seperti berikut:

(assume that all the items are

equally difficult)

4.1. KR20

2

11

20

pq

k

kKR

21

121

k

mkm

k

kKR

soalanjumlah

ujianjumlahbagivarians

)1(salahyangjawapanmendapatpelajarkadar

)10(betulyangjawapanmendapatpelajarkadar

2

k

pq

pp

ujian varians

ujianskor purata

itemjumlah

2

m

k

19

4.2. KR21

5. Ujian Bentuk Setara (Parallel Form)

Ujian bentuk setara menilai soalan yang berbeza dan set soalan yang bertujuan untuk

menilai konstruk yang sama.

Ia dilakukan dalam kombinasi dengan kaedah lain, seperti Split-half, yang

membahagikan item yang mengukur konstruk yang sama kepada dua ujian dan

mengaplikasikannya kepada kumpulan yang sama

Kebolehpercayaan bagi ujian ini juga boleh dilakukan dengan menggunakan ujian pra-

pasca (test-retest)

Ujian ini boleh menangani pelbagai bentuk sampel bagi keseluruhan domain kaedah ujian

pra-pasca.

Tetapi, ia memerlukan kerja yang kuat untuk membentuk dua ujian.

20

6. Alternate Form

This type of reliability makes a second form of a test consisting of similar items, but not the

same items. Researchers administer this second “parallel” form of a test after having already

administered the first form. This allows researchers to determine a reliability coefficient that

reflects error due to different times and items and allow to control for test form. By

administering form A to one group and form B to another group, and then form B to the first

group and form A to the second group for the next administration of the test, researchers are able

to find a coefficient of stability and equivalence. This is the correlation between scores on two

forms and takes into account error of different times and forms.

Ini juga bermakna bahawa:

Membuat dua ujian ujian terdiri daripada item yang serupa tetapi tidak perkara-perkara

yang sama.

Penyelidik mentadbir kedua-dua ujian ini secara "selari" bentuk ujian setelah sudah

ditadbir bentuk pertama.

Ini membolehkan penyelidik untuk menentukan pekali kebolehpercayaan; mungkin boleh

berlaku kesilapan kerana kali boleh untuk mengawal bentuk ujian.

Dengan mentadbir borang A ke satu kumpulan dan borang B untuk kumpulan lain, dan

kemudian membentuk B kepada kumpulan pertama dan membentuk kepada kumpulan

kedua bagi pentadbiran seterusnya ujian, penyelidik dapat mencari pekali kestabilan dan

kesetaraan.

Ini adalah korelasi antara skor dua bentuk dan mengambil kira kesilapan akaun kali

bentuk dan berbeza.

21

7. Inter-rater Reliability

When multiple people are giving assessments of some kind or are the subjects of some test, then

similar people should lead to the same resulting scores. It can be used to calibrate people, for

example those being used as observers in an experiment. Inter-rater reliability thus evaluates

reliability across different people. Two major ways in which inter-rater reliability is used are:

a) testing how similarly people categorize items, and

b) how similarly people score items.

This is the best way of assessing reliability when you are using observation, as observer bias

very easily creeps in.

Jadi, inter-rater reliability;

mengukur tahap kebolehpercayaan pemeriksa memeriksa ujian subjektif (spt karangan)

jenis kebolehpercayaan adalah yang paling sering digunakan apabila pemeriksa perlu

untuk memerhati dan menanda tindakan peserta dalam pembelajaran.

kaedah penyelidikan ini mendedahkan bagaimana pemeriksa bersetuju apabila menanda

set yang sama.

nama-nama lain bagi jenis ini ialah “inter scorer reliability” atau “inter observer

reliability”.

22

8. Summarize

Pearson

Spearman-

Brown

Cronbach

Alpha

Kuder

Richardson

i) Cronbach alpha, KR20, KR21, etc. – Mengukur ketekalan skor bagi sekumpulan pelajar.

• Individual: Jika seseorang pelajar mengambil ujian berulang kali, ketekalannya

ditunjukkan melalui Std Error of Measurement.

ii) Pekali kebolehpercayaan (parallel test),

Pekali kebolehpercayaan, r = kuasa dua Pekali kebolehpercayaan (r2),

atau ,

guna Spearman-Brown split-half formula.

Kebolehpercayaan tinggi apabila r menghampiri 1.0

Kebolehpercayaan tinggi apabila SE adalah kecil dan begitu juga sebaliknya.

iii) Observed scores can predict the true scores.

• Semakin kecil error, semakin tinggi kebolehpercayaan.

2222

yynxxn

yxxynrxy

21,21

21,21

1

2

r

rrxx

2

2

11

xk

k

2

11

20

pq

k

kKR

21

121

k

mkm

k

kKR

23

X = T + e

1. The higher the number of measurement we have, the higher the reliability would

be.

2. The higher the number of measurement we have, the smaller the SE.

24

9. Reference

Changing Minds. (2002). Types of Reliability. Retrieved December 7, 2012, from Changing

Minds: http://changingminds.org/explanations/research/design/types_reliability.htm

Heffner Media Group, Inc. (203-2004). Parallel Forms of Reliability. Retrieved December 7,

2012, from AllPsych Online: http://allpsych.com/stats/unit2/45.html

Jr., W. K. (2003). Reliability. Reasearch Skills for Psychology Majors: Everything You Need to

Know to Get Started.

Lancaster, C. (2010, April 21). Reliability! Difficulty! Discrimination! Or How do I interpret my

test results?! Retrieved December 11, 2012, from Apple tree:

http://www2.edserv.musc.edu/appletree/lancaster_appletree_4_10.pdf

Ledesma, R., & Molina, J. G. (n.d.). ViSta-CITA “Classical Item & Test Analysis with ViSta”.

Retrieved December 6, 2012, from http://www.mdp.edu.ar/psicologia/vista/Using-CITA.pdf

Piaw, C. Y. (2006). Statistik Kebolehpercayaan Instrumen Kajian. In C. Y. Piaw, Asas Statistik

Penyelidikan (Vol. 2, pp. 75-89). Kuala Lumpur: McGraw Hill Education.

Sambrose University. (2006, May 3). Test Reliability. Retrieved December 6, 2012, from 2007

History of Psychology Website:

http://web.sau.edu/WaterStreetMaryA/NEW%20intro%20to%20tests%20&%20measures%2

0website_files/reliability.htm

Siegle, D. (2002, September 24). Reliability. Retrieved December 11, 2012, from Instrument

Reliability: Educational Research :

http://www.gifted.uconn.edu/siegle/research/instrument%20reliability%20and%20validity/re

liability.htm