No Slide Title filePelatihan Pembekalan Manajer dan Staf PT. Bank Rakyat Indonesia (Persero) Tbk. 19 – 20 Oktober 2013 EVALUASI PROGRAM Adi Suryanto adis@ut.ac.id

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013

EVALUASI PROGRAM

Adi Suryantoadis@ut.ac.id085729422122

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013RESEARCH vs EVALUATION

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013EVALUATION

• Evaluation is a process used toassess the quality of what is goingon.

• Evaluation will provide qualitycontrol by determining the gapbetween what happened and whatshould have happened.

• Evaluation will tell us what isuseful, what isnot, and how toimprove, what requiresimprovement

(Kaufman & Thomas: 1980: 4)

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013

PURPOSE OF EVALUATION

• Evaluation is a process of helping to makethings better then they are, of improving thesituation” (Kaufman & Thomas: 1980: 9)

• ...”the most important purpose of evaluationis not to prove but to improve” (Madaus, Scriven, &

Stufflebeam: 1993: 118) .

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013HASIL EVALUASI

Keputusan tentangProgram

Dilanjutkan

Dihentikan

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013PROGRAM

Unit/kesatuan kegiatan yangmerupakan realisasi atauimplementasi kebijakan yangberlangsung dalam suatuproses yangberkesinambungan, danterjadi dalam suatuorganisasi.

(Suharsimi Arikunto & CepiSafruddin Abdul Jabar: 2009: 4)

“a program can bethought of as a groupof related activitiesthat is intended to

achieve one or severalobjectives”.

(McDavid & Hawthorn (2006:15):

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013PROGRAM≈SISTEM

Keseluruhan komponen yang saling terkaitdan berinteraksi satu sama lain untukmencapai suatu tujuan yang tertentu.

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013PROGRAM

KOMPONEN

KOMPONEN

KOMPONENKOMPONEN

KOMPONEN

TUJUAN

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013PROGRAM PEMBELAJARAN

SEBAGAI SISTEM

METODE/MEDIA

METODE/MEDIA

MAHASISWAMAHASISWA

FASILITASFASILITASSILABUSSILABUS

DOSENDOSEN

TUJUAN

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013EVALUASI PROGRAM

Evaluasi program evaluasi terhadap komponen-komponen program

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013MODEL EVALUASI PROGRAM

MODELKIRKPATRICKMODEL

CIPP MODEL

FORMATIVE-SUMATIVE

MODEL

STAKE

dll

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013KIRKPATRICK’S MODEL

LEVEL 1(REACTION)

LEVEL 2(LEARNING)

LEVEL 3(BEHAVIOR)

LEVEL 4(RESULT)

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013KIRKPATRICK’S MODEL

REACTIONSSeberapa jauh kepuasantrainee terhadapprogram pelatihan

LEARNINGHasil belajar apa yangdiperoleh trainee diakhir program pelatihan

BEHAVIORSeberapa jauhperubahan sikap traineesetelah mengikutiprogram pelatihan

RESULTSSeberapa jauh manfaat(hasil) yang dicapaiinstitusi setelah stafnyaikut pelatihan

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013LEVEL 1: REACTION

• Bagaimanakepuasan pesertaterhadap programpelatihan?

• Apakah programpelatihan dapatditerima olehpeserta?

• Evaluasi Output

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013LEVEL 2: LEARNING

• Seberapa jauh siswabelajar dari programpelatihan ?

• Seberapa jauh siswamenguasaikompetensi yangdilatihkan?

• Evaluasi Output

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013LEVEL 3: BEHAVIOR

• Apakah terdapat perubahanperilaku setelah pesertamengikuti programpelatihan?

• Apakah terdapat “transfer oflearning” diantara siswapeserta program pelatihan?

• Apakah terdapat perubahantingkah laku yang positifdalam bekerja setelahpeserta mengikuti pelatihan?

• Evalusi Outcome

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013

LEVEL 4: RESULTS

• Apakah peserta pelatihan dapatmenerapkan hasil pelatihan ditempatkerjanya ?

• Apakah hasil program pelatihan dapatmemberikan dampak yang signifikan bagiinstitusi atau perusahaan ?

• Evaluasi Outcome

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013MODEL “CIPP”

C context

Iinput

P productPprocess

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013MODEL CIPP

CONTEXT INPUT PROCESS PRODUCT

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013CIPP

• Menekankan pada evaluasi: 1) Context, 2) Input,3) Proces, 4) Product.

• 2 kata kunci dalam evaluasi program yaitu prosesevaluasi dan standar (Stufflebeam: 2002: 280).

• Model evaluasi CIPP dimaksudkan untukmemperbaiki program bukan untuk membuktikan:... the CIPP approach is based on the view that themost important purpose of evaluation is not toprove but to improve” (Stufflebeam, 2002: 283):

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Lanjutan CIPP….

• Model CIPP membantu manager dan pelaksanaprogram untuk mengambil 4 macam keputusan:

1. Perencanaan (berdasar hasil evaluasi context)

2. Struktur program yang akan dilaksanakan (darihasil evaluasi input)

3. Pelaksanaan program (dari hasil evaluasi proses)

4. Pencapaian tujuan program (dari hasil evalusiproduct)

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013EVALUASI KONTEKS

LINGKUNGAN

KONTEKSPENYELENG

GARAPROGRAM

KEBUTUHANPROGRAM,

MASALAH YGBERHUBUNGAN

DNGKEBUTUHAN,

TARGET

ANALISISSISTEM

SURVEI

TELAAHDOKUMEN

WAWANCARA

TESDIAGNOSTIK

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013EVALUASI INPUT

INPUTPROGRAM

INPUT TERPILIH,KEKUATAN/KELEMAHAN INPUT,

STRATEGIMENCAPAI

TUJUAN

ANALISISSDM

ANALISISBAHAN

PEMECAHANMASALAH

WAWANCARA

STUDIKELAYAKAN

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013EVALUASI PROSES

EVALUASIPELAKSANAAN

PROGRAM

PROSES

KETIDAKNOR-MALAN DISAIN

ATAUPELAKSANAAN

PROGRAM

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013EVALUASI PRODUK

PENGUKURAN HASILPELAKSANAAN

PROGRAM

PRODUK HASILPELAKSANA-

AN PROGRAM

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Evaluasi Formatif-Sumatif

• Saat program berjalan• Unt memperbaiki

program

EvaluasiFormatif

• Setelah program selesai• Unt keberlanjutan

program

EvaluasiSumatif

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Evaluasi Formatif

Untuk menjawab pertanyaan:• Apakah program berjalan sesuai dengan perencanaan ?

• Apakah semua komponen program berfungsi efektif atauada beberapa yang memerlukan perbaikan ?

• Berdasarkan kemajuan data yang ada, haruskah programditerapkan ditempat lain ?

• Apakah ada kejadian-kejadian penting yang harusdigabungkan dalam struktur program ?

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Evaluasi Sumatif

• Untuk menjawab pertanyaan:• Seberapa besar peserta dapat mengetahui materi yang diajarkan ?

• Seberapa besar telah terjadi perubahan sikap dan atau perilaku ?

• Sejauh mana tujuan program dapat tercapai ?

• Apakah program benar-benar dapat membuat perbedaan padapeserta program sebelum dan sesudah mengikuti program ?

• Apakah kesenjangan yang ada sebagai hasil needs assessment sudahdapat terisi ?

• Apakah kinerja peserta program sudah berada pada level sepertiyang ditetapkan dalam tujuan program ?

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013MODEL STAKE

Antecedent

• Identifikasi kejadian/peristiwa sebelum pelaksanaan program

Transaction

• Apa yang terjadi selama program berlangsung

Outcome

• Pengukuran hasil program

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013STAKE lanjutan…

Antecedent

Deskripsi

Intent: Tujuan jelas ?

Observasi: Fakta riil dilapangan ?

Pertimbangan

Standar: standar ?

Pertimbangan:Pembandingan antaraintens, observasi dan

standar

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013STAKE lanjutan…

Transactional

Deskripsi

Intent: Perencanaanprogram ?

Observasi: Perilakupeserta program ?

Pertimbangan

Standar: standar ?

Pertimbangan:Pembandingan antaraintens, observasi dan

standar

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013STAKE lanjutan…

Outcome

Deskripsi

Intent: Hasil yangdiharapkan ?

Observasi: Pengumpulanhasil ?

Pertimbangan

Standar: standar ?

Pertimbangan:Pembandingan antaraintens, observasi dan

standar

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013LANGKAH EVALUASI PROGRAM

TENTUKANKARAKTERISTIK

PROGRAMYANG AKANDIEVALUASI

TENTUKANKOMPONEN-KOMPONENPROGRAM

YANG AKANDIEVALUASI

PILIH MODELEVALUASI

KEMBANGKANDISAIN

EVALUASI

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013LANJUTAN LANGKAH EVALUASI

PROGRAM….

KEMBANGKANINSTRUMEN

PELAKSANAANEVALUSI

HASILEVALUASI REKOMENDASI

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Evaluasi Program Pembelajaran

Mengevaluasisemua komponen

dalam programpembelajaran

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Komponen Program Pembelajaran

Dosen

Mahasiswa

dllSarana/

Prasarana

Bahan AjarProgramPembelaj

aran

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Pilih Model Evaluasi

Kirkpatrick

CIPP

Formatif-Sumatif

STAKE dan lain-lain…..

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Disain Evaluasi

Eksperimen/

Pseudoeksperimen

Penelitian danPengembangan

Pretest-Post-test

Evaluasi Kebijakan dll

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013INSTRUMEN

ESSAY

OBJECTIVEALAT UKUR TEST

Angket/Kuesioner

Pedoman Pengamatan

NON TEST Skala Penilaian

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Konsep Validitas dan Reliabilitas

VALID & RELIABEL TDK VALID TAPI REL TDK VALID & TDK REL

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Validitas dan Reliabilitas

• Validitas Isi• Validitas konstruk• Validitas terkait

kriteriaValid

• Stabilitas• Ekivalen• Konsistensi InternalReliabel

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Validitas Isi

• Tes hasil belajar (Achievementtest)

• Mengacu padakerepresentatifan kompetensiyang telah diajarkan

• Tampak dalam kisi-kisi tes

• Ditentukan berdasar expertjudgment

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Validitas Konstruk

• Pengukuran psikologik (sikap,perilaku, kepribadian,kemandirian dalam belajar,tingkat kepuasan, dll)

• Mengukur konstruk suatu teori

• Ditentukan berdasar hasilanalisis statistik tertentu (multitrait multi method, EFA, CFA)

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Pelaksanaan Evaluasi

• Penyamaan persepsipengumpul data

• Pengumpulaninformasi/dataevaluasi

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Analisis Data

• Kualitatif

• Kuantitatif:

1. Parametrik

2. Non Parametrik

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Pelaporan

• Bab I Pendahuluan

A. Latar Belakang Masalah

B. Identifikasi Masalah

C. Pembatasan Masalah

D. Rumusan Masalah

E. Tujuan Evaluasi

F. Manfaat Evaluasi

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Lanjutan…..• Bab II:

A. Kajian Teori

B. Kajian Penelitian

C. Kerangka Pikir

• Bab III Metode Evaluasi

A. Disain Evaluasi

B. Tempat dan Waktu

C. Populasi dan Sampel

D. Instrumen

E. Validitas dan Reliabilitas Instrumen

F. Teknik Analisis Data

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013Lanjutan…

• Bab IV Hasil danPembahasan

• Bab V Kesimpulan danRekomendasi

Pelatihan Pembekalan Manajer dan StafPT. Bank Rakyat Indonesia (Persero) Tbk.

19 – 20 Oktober 2013