MEASUREMENT.reliab. Valid.2013

The process of assigning numbers to objects or observationsQuantification expressed in numbersThe process observing and recording the observations that are collected as part of a research effort.MEASUREMENT

ABSTRACT(INSUBSTANTIAL)Abstract conceptsQualitative measurementNonstandard measurement tools

ACCURACY: LESS CONFIDENCE

PHYSICAL(SUBSTANTIAL)MEASUREMENTOBJECTS

PENGUKURAN(MEASUREMENT)PENGUKURINSTRUMENPROSESOBJEKHASILPENGUKURANKRITERIA PENGUKURAN YANG BAIK Precise UnambiguousFree from errorsValidReliablePracticable**Practicality (e.g., economy, convenience, interpretability)TESTS OF GOOD MEASUREMENTRELIABILITYVALIDITYFaktor2 yang mempengaruhi pengukuran

INSTRUMENT(ALAT UKUR)Tidak jarang peneliti terperosok ke dalam availability bias hanya karena memilih instrumen seadanya, atau terperangkap (default) dengan menggunakan instrumen yang biasa dipakai di masa lalu. Pemilihan instrumen yang buruk berarti meningkatkan noise dan error penelitianPerlu dilakukan pencarian dan evaluasi dengan seksama semua instrumen yang direkomendasikan

FAKTOR2 YANG PERLU DIPERTIMBANGKAN (dalam memilih alat ukur/instrumen)1. KOMPLEKSITAS INSTR.: (hindari)(pilih instrumen yang sederhana/ sesuai/cocok)2. MATCH (cocok) antara tujuan penelitian dengan instrumen3. SENSITIVITAS INSTR. (apakah instr. dibuat berdasarkan atas apa yang ingin diukur) (mis. besar/kecil perubahan)

4. SPESIFISITAS (makin besar spesifisitas instr. makin besar peluang prediksi penampilan/hasil sebenarnya)5. RELIABILITAS & VALIDITAS(1). Apakah reliab. & valid. instr. yang dipakai sudah mapan (dalam publikasi)(2). Apakah sudah dipahami kekuatan/kelebihan dan kelemahan instr. tsb?6. ISYU2 ETIS (perhatikan implikasi/dampak etis instr. yang dipakai)

S

K

A

L

A

(SCALE) Series of items arranged according to value for the purpose of quantification

A continuous spectrum

SCALE PROPERTIES Uniquely classified Preserves order Equal intervals Natural zero

SCALECATEGORICCONTINUOUSNOMINALORDINALRATIODICHOTOMICPOLYTOMICMEASUREMENT AND FURTHER ANALYSIS AREDEPENDENT ON THE PROPERTY OF THE VARIABLE.The levels of measurement (scale) can be classified as:NOMINAL, ORDINAL, INTERVAL, RATIOINTERVAL

1. NOMINAL (name and count) Data are numerical in name only Scale assigns number symbols to events in order to label them Order is of no consequence Restricted use:- keeping track people/objects/events- no statistical manipulation possible

2. ORDINAL(RANK/ORDER) Data that can allow setting up unequalities and cannot do much Scale places events in order Intervals of the scale are not equal More precise comparisons are not possible No absolute values

Median is appropriate measure of central tendencyPercentile or quartile is used for measuring dispersionRank order correlations are possibleNonparametric testsUsed in qualitative research

INTERVAL data which allows for forming differences in addition to setting up inequalities Scale that adjusts intervals in such a way that a rule can be established as a basis for making the units equal No absolute zero or unique origin; only an arbitrary zero can be hadNo capacity to measure the complete absence of a trait/characteristic

More powerful than ordinal scale due to the concept of equality of intervalMean is an appropriate measureof central tendencySD is widely used for dispersionProduct moment correlation is possiblet-test and F-test for significance

4. RATIO Data allows forming quotients in addition to setting inequalities and forming differences Scale has an absolute or true zero and represents the actual amounts of variables The most precise scale; all mathematical operations and statistical techniques can be applied(all manipulations that are possible with real numbers can be carried out) Geometric and harmonic means can be used Coefficient of variation can be worked out

TESTS OF GOOD MEASUREMENTSRELIABILITY (consistency !)VALIDITY (functional relevancy: measure what should be measured)Reliability & validity: as separate ideas?They are related to each other!METAFORA HUBUNGAN ANTARA RELIABILITAS DAN VALIDITASTARGET

Pusat sasaran (center of the target) dianggap sebagai konsep yang akan diukur.Bayangkan bahwa untuk setiap orang yang diukur anda menembak sasaran.Jika mengukur konsep secara sempurna: semua tembakan mengenai pusat sasaranMakin jauh dari pusat sasaranpengukuran makin tidak sempurna1. Mengenai sasaran secara konsisten (ajeg) dan sistematik, tetapi tidak mengenai pusat: pengukuran ini reliabel tetapi tidak valid (konsisten tetapi salah)

2. Tembakan tersebar secara random di seluruh sasaran, tetapi tidak/jarang mengenai pusat: anda mendapatkan jawaban yang benar untuk kelompok (tetapi tidak cukup baik untuk individu-individu)Anda mendapatkan estimasi kelompok yang valid tetapi tidak konsisten.Menunjukkan: reliabilitas berhubungan langsung dengan variabilitas pengukuran3. Tembakan anda menyebar ke seluruh sasaran dan secara konsisten tidak mengenai pusat: pengukuran anda tidak reliable dan tidak valid4. Robin Hood scenario: tembakan anda secara konsisten mengenai pusat: pengukuran anda reliabel dan valid

TUJUAN (GOAL) PROSES PENGUKURAN:To ensure that the values assigned to variables are reliable and validRELIABILITY: ensures that the assignment of values is consistent or reproducibleVALIDITY: ensures that the assignment of values truly reflects the underlying construct or concept

MEASUREMENT ERRORSReliabilitas dan validitas dipengaruhi oleh measurement errorsMeasurement Errors: 1. random/chance errors2. nonrandom errors

1. Random/Chance Errors- Occurs inconsistently- Cause the measures to deviate- Negatively affect the reliability of the measurement (and are present in every measurement process)(The goal of a measurement process: to minimize random errors, and thereby maximize the reliability)

2. NONRANDOM/SYSTEMATIC ERRORS- Terjadi secara konsisten oleh definisipengukuran berdeviasi dari nilai sebenarnya secara nonrandom- Besar error sistematik dipengaruhi langsung oleh validitas pengukuran- Berhubungan terbalik dengan validitas:high nonrandom error decreases the validity of a measurement process

The factors that influence reliability:1. The individual (diurnal variation, education level, biological variations)2. The instrumentation (calibration, misleading/mistakes in recording responses) 3. Environment (temperature, pressure, light, electrical fluctuations)

BIASMacam bias: - bias info.: jika terjadi perbedaan info. secara konsisten antarpartisipan (karena faktor2 yang mendasarinya)(mis. test cases tend to provide more info. than control cases that do not have the disease- bias recall: terjadi jika ada perbedaan kemampuan me-recall info. (mengenai pengalaman sebelumnya)(oleh subjek/pasien) - bias interviewer: terjadi jika persepsi atau perilaku inteviewer mempengaruhi respon

Proses pengukuran harus bisa mengontrol systematic biases (mulai koleksi data dan tahap2 desain penelitian) untuk memperkuat validitas(Mis. teknik blinding: dipakai untuk menyembunyikan aspek prosedural desain penelitian dari responden dan interviewer untuk MINIMIZE THE BIAS)

RELIABILITAS (RELIABILITY)The ability of an instrument to measure consistently/repeatable the phenomenon it is designed to measure (Seltitz dkk.)Istilah lain RELIABILITY I. DEPENDIBILITY/STABILITY/RELIABILITYII. CONSISTANCY/PREDICTABILITY/ACCURACYIII. PRECISION

UJI RELIABILITAS: untuk mengetahui sejauh mana instrumen memp. tingkat konsistensi (keajegan) relatif tetap jika dilakukan pengukuran berulang-ulang terhadap subjek/fenomena yang sama(Dengan asumsi: apa yang sedang diukur tidak berubah)

DEFINISI RELIABILITAS3 PENDEKATANJika kita mengukur himpunan objek yang sama berulang-ulang dengan instrumen yang sama/serupa/mirip didapatkan hasil yang sama (STABILITAS/DEPENDIBILITAS/ PREDIKTABILITAS/dependibility)Apakah ukuran yang diperoleh dari suatu instrumen adalah ukuran yang sebenarnya untuk ciri2 yang diukur (AKURASI/accuracy)Seberapa besar error pengukuran yang terdapat dalam instrumen (PRESISI/precision) (makin kecil error makin besar presisi)

In research: the term reliability means repeatability or consistency.Suatu pengukuran dianggap reliabel jika pengukuran berulang-ulang memberikan hasil yang sama X1X2T + e1T + e2X: pengukuranT + e: hasil pengukuranT: nilai sebenarnya; e: errorRELIABILITAS?Reliabilitas: rasio nilai sebenarnya dengan nilai pengukuran totalvarian nilai sebenarnyavarian nilai pengukuran var (T)var (X)Var=Varian: (SD)2

We cant compute reliability because we cant calculate the variance of the true scoresWe just can estimateEstimate of reliability: correlation between two observations of the same measurevar (T)var (X)Reliability = 1 0var (e)Reliability = 0Reliability: 0.5 ?Reliability: 0.8 ?var.: variance

TIPE-TIPE RELIABILITAS1. INTER-RATER (inter-observer) RELIABILITYUntuk menilai derajat reliabilitas antara penilai-penilai (raters/observers) apakah memberikan estimat yang konsisten terhadap fenomena yang samaObjek/fenomenaHasil penilaian observer 1Hasil penilaian observer 2=?2. TEST-RETEST RELIABILITY Untuk menilai konsistensi pengukuran dari satu ke waktu lain (dengan instrumen yang sama)Pengukuran (1)Pengukuran (2)=Waktu 1 (1)Waktu 2 (2)?(Mean +/- sd)(1)(Mean +/- sd)(2)

3. PARALLEL-FORMS RELIABILITYUntuk menilai konsistensi hasil-hasil dua test yang dibuat dengan cara yang sama dari ranah isi (content domain) yang samaForm AForm BTime 1Time 2(parallel)AB

INTERNAL CONSISTENCY RELIABILITYDipakai satu instrumen yang diterapkan pada satu kelompok orang pada satu kejadian untuk mengestimasi reliabilitasnyaAverage Inter-item Correlationmemakai semua items dalam instrumen yang didesain mengukur konstruk (construct) yang sama:mula-mula dihitung korelasi antar tiap pasangan item(mis. ada 6 items15 pasangan berbedarerata korelasi interitem: rerata semua korelasi tersebut.Dalam contoh didapat rerata korelasi inter-item: 0,9 dengan korelasi2 individual 0,84 0,95

measureItem 1

Item 2

Item 3

Item 4

Item 5

Item 6Average Inter-item CorrelationI1 I2 I3 I4I5 I6I1 1.00I2 .891.00I3 .91 .92 1.00I4 .88 .93 .95 1.00 I5 .84 .86 .92 .85 1.00I6 .88 .91 .95 .87 .85 1.00Total .84 .88 .86 .87 .83 .82 1.000.85(item=pertanyaan)(rerata)

2. Split-Half Reliability/Correlations*Secara random semua items dibagi menjadi dua set konstruk (I dan II)Dicatat pengukuran seluruh instrumen untuk sampel dan dihitung skor total masing-masing parohan yang dibagi secara randomSplit-half reliability: korelasi antara kedua skor totalmeasureItem 1

Item 2

Item 3

Item 4

Item 5

Item 6Item 1Item 3Item 4Item 2Item 5Item 60.87 . (r)III* Jumlah item: genap

ANALISIS RELIABILITASMenganalisis derajat kemampuan instrumen

I. PROSEDUR KONSISTENSI EKSTERNACARA INDEKS HUBUNGAN (r)II. PROSEDUR KONSISTENSI INTERNAINDEKS HUBUNGAN (r)r: koefisien korelasi

DERAJAT RELIABILITASHasil kumulatif pengukuranTEST- RETESTSyarat: kondisi pengukuran stabil t1 t2Jika Xt1 = Xt2 Xt1- Xt2= 0 (derajat rel.: sempurna) Xt1 Xt2Praktis tidak pernah dicapaiAda variance error(Fluktuasi random dari satu ke pengukuran lain) TRUE VARIANCECOEFF. STABILITY = OBSERVED VARIANCESx 2 - Se 2 St2 r xx := (r xx : 0.0 - +1 atau -1)S x 2 S x 2t1, t2: saat pengukuranXt1, Xt2: hasil pengukuranvariance: (SD)2=SXX1X2T + e1T + e2X: the measure; T: true score; e: errorPROSEDURKONSISTENSI EKSTERNA2

KELEBIHAN & KELEMAHAN TEST-RETEST* Mudah* Self-comparable:* Kesinambungan instrumen - Subjek* Var. luar lebih terkendali - Instrumen

* Replikasi memori * Over/under estimate*Maturasi Jarak waktu t1 t2:* Intervening var. - Singkat: r overestimate - Panjang: r underestimate)

Kelemahan test-retest diatasi dengan test paralelKELEBIHANKELEMAHAN

TEST PARALEL(ALTERNATE - FORM METHOD)

(paralel*)

VARIABEL/ FENOMENA

rXX (Coeff. equivalence)Koef. Korel.*Paralel: - Items/pertanyaan2 berbeda - Mengukur var./fenomena yang sama

INSTR IINSTRSKOR IINSTR IISKOR IIInstrumen DIBAGI DUA

KELEBIHAN & KELEMAHANTEST PARALELKELEBIHANDapat mengatasi kelemahan* metode test-retest (* lihat depan)KELEMAHAN - Sulit membuat 2 instrumen paralel - Sulit menentukan ekivalensi(HATI2: dapat terjadi: 2 instr./test berkorelasi,tetapi mengukur 2 fenomena berbeda)

PROSEDUR KONSISTENSI INTERNA(Disebut juga: ONE-SHOT TRIAL atau SINGLE TRIAL)ITEMS DIANALISIS POLA HUBUNGAN: KONSISTEN?

SPLIT- HALF RELIABILITY: instrumen dibelah menjadi 2

SEPARUH ISEPARUH IIINSTRINSTR

(r xx )

2 rxx r xx =rXX: derajat reliabilitas seluruh instrumen 1 + rxx r xx: derajat reliabilitas antarbelahan* Instr (items) diterapkan dulu pada responden(INSTR (ITEMS)*SEPARUH IINSTRSKOR ISKOR IISEPARUH IIINSTR

PROSEDUR KONSIST. INT. (lanj.)ASUMSI:Person with particular trait will respond predictably to items affected by those traits SESEORANG MEMP. KUALITAS SOSIAL/PSIKOLOGIS TERTENTUMERESPON INSTR. SECARA KONSISTEN

(Syarat: items instr. ditarik dari universum yang sama)

SPLIT-HALF RELIABILITY 1. GANJIL/GENAP CARA 2. RANDOMEKIVALENSI3. STATISTIS: Gutmann(membelah) Kuder- Richardson 4. ITEM ANALYSIS: pairing (berpasangan)* (Dasar: - Derajat kesulitan - Diskriminasi - Isi (contents)

KELEBIHAN: - Practice effect: (-) - Memory: (-) - Rangsangan item: (-) (Perubahan gejala/fenomena) - Kondisi pengukuran: terkendali maksimal

Single trial yang banyak dipakaiTEKNIK SPEARMAN-BROWN(Teknik belah dua)

SYARAT:1. Belahan sebanding dalam:Mean/variabilitas SAMAdistribusi statistik (sulit dipenuhi)2. Jumlah items genap3. Sifat instr.: homogen

II. ITEM DISCRIMINATION ANALYSIS (IDA)A. VISUAL B. ANGKA DISCRIMINATING POWERC. UJI KEMAKNAANA. VISUAL RespondenItem1 2 3 4 5 6 7 8 9 10 11 126 1 3 2 5 1 6 4 1 4 1 65 1 2 1 5 1 6 4 1 4 1 66 2 2 1 5 2 6 4 1 5 2 56 1 3 1 4 2 6 4 1 4 2 62 5 6 4 2 4 2 2 5 2 4 36 2 1 1 5 2 6 4 1 3 2 56 1 2 2 6 2 5 4 2 5 1 65 1 3 3 5 2 5 4 3 5 2 45 1 3 1 5 2 6 4 1 6 2 56 1 2 1 5 1 6 4 3 6 2 4IDANilai (hasil pengukuran)

Item 5: tidak reliabel

IDA (lanj.)B. DISCRIMINATING POWER-Dianalisis item demi item-Dibandingkan kuartil teratas dan terbawahRespon kuartil teratas dan terbawah untuk item 1 N1: 10 N2: 10BANDINGKAN RERATA KUARTILTERATAS - (Kuart. teratas) (Kuart. terbawah)KUARTIL TERBAWAH UNTUK SEMUA ITEM 6 1CARI SELISIHNYA 5 3 4 2Item Kuartil teratas Kuartil terbawah Selisih 5 3(Rerata) (Rerata) 4 41 5,1 2,4 +2,7 5 32 4,6 4,5 +0,1 6 43 3,3 3,3 0 6 14 5,5 3,1 +2,4 5 25 4,8 1,8 +3,0 5 16 3,9 4,1 -0,2Juml. 51 247 5,0 4,0 +1Mean1 : 5,1 Mean2 : 2,48 4,8 2,5 +2,39 4,9 2,8 +2,110 1,3 5,4 - 4,1 Perhatikan: item 3,6 dan 10

PENILAIAN RELIABILITASPENGUKURANVARIABEL NUMERIK

a. STANDARD DEVIASI (SD)

COEFF. OF VARIANCE (CV)=SD/MEANCVRELIABILITAS Contoh: Instr. A: Mean = 134,7 SD=1,76CV=1,76/134,7 = 0,013 Instr. B: Mean= 134,7 SD=2,71CV=2,71/134,7=0,020INSTR. A atau B LEBIH RELIABEL?

b. CONFIDENCE INTERVAL (CI)

CI RELIABILITAS

PENILAIAN RELIABILITAS PENGUKURAN (lanj.)2. VAR. NOMINALNILAI KAPPA (K)DERAJAT KESESUAIAN

NOMINAL DIKOTOMIS(Pria/wanita, ya/tidak, sakit/sehat, normal/abnormal)

Contoh: 2 dokter (P dan Q) menilai USG 30 pend. perdarahan intrakranialInterpretasi: N (normal)/A (abnormal) ?

Tabel 2 x 2PNA

N9716QA41014

131730

RELIABILITAS INSTRUMEN1. TEST- RETEST(Teknik ulangan/single test double trial)- Cukup waktu untuk melakukan 2x test- Rumus korelasi Pearson (Pearson Product Moment/PPM)

Nxy (x) (y)rxy = V (N x2 ( x )2 (NY2 (Y)2

2. TEST PARALEL 3. SPLIT- HALF- Cukup waktu - Butir2 genap- Kecakapan menyusun - Tidak punya cukup waktu 2 perangkat instrumen - Rumus Spearman-Brown

RUMUS2 RELIABILITAS1. RUMUS FLANAGAN V1 + V2r11: Reliab. instrumenr11 = 2 (1- ) V : Varian (variance) VtV1: varian skor belahan IV2: varian skor belahan IIVt : varian skor total

2. RUMUS RULON Vdr11: Reliabilitas instr.r11 = 1 Vd : Varian beda (difference) VtVt : Varian total

RELIABILITAS VALIDITASBukan all-or-none(R V; Tidak R tidak V)R atau V: merupakan gradasiSangat baik/Baik/Cukup/ Kurang/Buruk2 hal terpisah (kurang R tetapi cukup V; sangat R tetapi kurang V) ?

VARIANCE (varian) Dispersion=Variation = Scatter Variance:s2 = (Xi X)2 i=1 Range, variance, CVVariabilitasnya tidak samaCV=6,9CV=12,5nVARIANCE: salah satu bentuk measure of dispersion

VARIANCE (lanj.)VARIANCESYSTEMATIC VARIANCECenderung ke satu arah:Semua tinggi/rendah; semua +/-ERROR VARIANCEKonstan; mengandung biasRANDOM VARIANCE Random errorBersifat mengimbangi/menebus diri sendiri:Kadang2 cenderung ke satu arah, padakesempatan lain cenderung ke arah berlawanan

RANDOM ERRORHimpunan error akibat pengaruh berbagai sumber

Unsur random/kebetulan yang biasa dijumpai:- Keletihan/fatigue sementara- Kondisi2 serba kebetulan pada saat2 tertentu mempengaruhi objek pengukuran- Fluktuasi daya ingat orang- Faktor2 lain

(BERSIFAT SEMENTARA DAN TERUS-MENERUS BERUBAH)

STRATEGI RELIABILITAS PENGUKURANCARA RANDOM SUMBER RANDOM ERRORERROR PENGUKURAN

Standardisasi cara Pengukur/PengamatpengukuranPelatihan PengamatPenyempurnaan instr. Instr./PengamatOtomatisasi instr. Pengamat/SubjekMengulangi pengukuran Pengamat/Subjek/Instr.