EVALUASI DIRI BERBASIS DATA SIM-JAMU: mewujudkan Data Driven Culture Dr. Syahrun Nur Madjid, M.Si
OUTLINE:
1) Mengapa Perguruan Tinggi harus mengumpulkan data ?
2) DATA DAN INFORMASI PADA PENDIDIKAN TINGGI (DIKTI)
3) Konsep Dasar Evaluasi
4) PELAPORAN: Presentasi, Komunikasi Data dan Informasi
5) Diskusi :RENCANA SIKLUS EVALUASI DIRI PRODI
6) Diskusi :Data driven culture
(1) Mengapa Perguruan Tinggi harus mengumpulkan data ?
• Pihak Eksternal membutuhkan PT yang sehat (good governance, transparancy, dan akuntabilitas yang baik). Contoh: BAN-PT akan meminta SAR (Self Assessment Report), begitu juga sertifikasi AUN-QA
• Pihak Internal harus menjamin PT yang sehat (PT produser alumni/intelektual, dilakukan melalui IQA) dan PT yang dapat mencapai visi melalui pelaksanaan misi yg konsisten dan arah tujuan yang tepat.
Derajat kesehatan PT diukur dengan Evaluasi yang didukung oleh data kinerja/capaian
Indikator PT sehat ?: kinerja Terukur
• PT mempunyai VMT terukur dan upaya pencapainnya dirumuskan dalam Rencana Strategis (Renstra) dan Sasaran strategis.
• Pelaksanaan program/kegiatan mengikuti siklus PDCA atau PPEPP
• Melakukan Evaluasi diri mengacu kepada indikator kinerja yang terukur (IKU).
2 26
INOVATIF MANDIRI TERKEMUKA
UNIVERSITAS SYIAH KUALA
pengembangan ilmu pengetahuan, teknologi, humaniora, olahraga, dan seni
INOVATIF MANDIRI TERKEMUKA
UNIVERSITAS SYIAH KUALA
Di ASIA TENGGARA
PKM
Penelitian
Pendidikan
VISI
VISI
Periode I
Periode II
Periode III
Periode IV
~ 2026
~ 2021
~ 2017
~ 2012
Peningkatan Kapasitas dan Modernisasi
Penguatan Pelayanan
Daya saing regional
Daya saing Internasional
VISI dan MILESTONES Universitas Syiah Kuala
Pencapaian MILESTONES harus diUKUR (DATA) dan di EVALUASI (ANALISIS)
Evaluasi Siklus PDCA Pendidikan• Lakukan evaluasi PDCA untuk
kegiatan pengajaran dan pembelajaran
Mengapa Perguruan Tinggi harus mengumpulkan data ?
(2) DATA DAN INFORMASI PADA PENDIDIKAN TINGGI (DIKTI)
• Data : kumpulan variabel kualitatif dan kuantitatif yang diinterpretasikan menjadi informasi. Data adalah hasil pengukuran dan dapat divisualisasikan melalui tabel, grafik atau gambar. Di sini data dapat dipahami sebagai suatu konsep abstrak darimana informasi dan kemudian pengetahuan diturunkan.
• Informasi adalah kumpulan data dengan maksud tertentu yang berhubungan dengan permasalahan dan digunakan untuk mencapai suatu tujuan. (Wittmann 1980). • Ketika informasi diletakkan dalam konteks yang bermakna, akan tercipta suatu
pengetahuan (Gladen 2003,2).
DEFINISI
Data dan Informasi di Perguruan Tinggi: Permasalahan umum
• Data tidak ada : data tidak dicatat/didokumentasikan
• Data tidak ada saat diperlukan
• Data ada tapi tidak dapat cepat diperoleh
• Data ada tapi bias
• Data ada tapi tidak spesifik sesuai kebutuhan
• Apa lagi ?...................................................
• Kapan data diperlukan: saat menyusun borang akreditasi/ketika ada evaluasi (biasanya external driven)
Data Mana Yang Dikumpulkan ?
Identifikasi Kebutuhan Informasi
Pembuat keputusan di institusi DIKTI mempunyai kebutuhan informasi berbeda sesuai
dengan tujuan strategi dan target masing-masing .
Kebutuhan informasi dapat didefinisikan sebagai “tipe, jumlah dan
kualitas informasi, dimana pembuat keputusan membutuhkan untuk
memenuhi target (capaian)nya. (Koreimann 1976,6;Gladen 2003,4).
Kebutuhan informasi dapat dibedakan atas kebutuhan informasi objektif dan subjetif. Kebutuhan
informasi objektif mengacu pada sejumlah informasi yang dihimpun dalam konteks faktual untuk memecahkan
permasalahan. Kebutuhan informasi subjektif adalah informasi dimana pembuat keputusan mengganggapnya relevan
dengan target kerjanya. (Kupper 2013,218).
Sistim Manajemen Informasi
• Menurut Horvath, metode sistim manajemen informasi dapat dibagi dalam tiga fase, yaitu:• Mengidentifikasi kebutuhan informasi dan mengumpulkan bahan baku
• Pengumpulan data, pengolahan dan analisis.
• Disseminasi data (aliran kerja antara disseminator dan penerima)
Distribusi Informasi
• Kunci utama pendistribusian informasi adalah hubungan antara pengirim informasi dan penerima informasi serta pertanyaan bagaimana mengtransfer informasi relevan secara tepat.
• Hal itu bermakna bahwa, pengirim informasi harus tahu kepada siapa informasi dikirim dan dalam bentuk apa.
• Pada waktu bersamaan, penerima informasi harus tahu bagaimana membaca, memahami dan menggunakan informasi yang diterima.
CONTOH Kebutuhan Informasi Untuk Stakeholders yang BerbedaStandar/Bidang Aspek Rektor Dekan Ketua Lembaga Kepala Biro
Sumber Daya Manusia
Dosen dg jabatan Profesor
Laju Pertumbuhan Profesor per tahun
• Publikasi Internasional para Doktor.
• ProdukvitasProfesor (pengajaran dan penelitian)
Seberapa banyak Doktor yang melakukan penelitian dan Publikasi Ilmiah Internasional
Tunjangan KehormatanProfesor.
Jumlah Doktor dg jabatan fungsional LK
Teaching-Learning
Pembelajaran dg E-learning
Derajat penggunaan “e-learning” utk pembelajaran
Berapa banyak Dosen yang aktif menghasilkan dan menggunakan E-learning utk pembelajaran
Kemahasiswaan Prestasi Mahasiswa
Peran mahasiswa Unsyiah dalamevent nasional dan internasional
Peran Dosen dalam pembimbinganprestasi mahasiswa (seperti PKM, dll)
Kebutuhan Informasi Ketua Prodi
Standar/Bidang Aspek Rektor Dekan Ketua Prodi
Sumber Daya Manusia
Dosen dg jabatan Profesor
Laju Pertumbuhan Profesor per tahun
• Publikasi Internasional para Doktor.
• ProdukvitasProfesor (pengajaran dan penelitian)
Pengajaran dan pembelajaran
Pembelajaran dg E-learning
Derajat penggunaan “e-learning” utk pembelajaran
Berapa banyak Dosen yang aktif menghasilkan dan menggunakan E-learning utk pembelajaran
Kemahasiswaan Prestasi Mahasiswa
Peran mahasiswa Unsyiah dalam event nasional dan internasional
Peran Dosen dalam pembimbinganprestasi mahasiswa (seperti PKM, dll)
INFORMASI YANG
DIBUTUHKANJENIS DATA SUMBER DATA
1.1 Rata-rata lama studi
1.2Masa Tunggu Lulusan Mendapatkan
Pekerjaan < 6 bulan
1.3 Rata-rata IPK Lulusan S1
1.4Persentase Lulusan Bersertifikat
kompetensi/ bersertifikat Profesi
1.5 Persentase Lulusan yang langsung bekerja
2.1 Jumlah publikasi nasional
2.2 Jumlah publikasi internasional
2.3
Jumlah HKI yang dihasilkan (Paten, Merek,
Hak Cipta, PVT, Rahasia Dagang, Desain
Industri, DTLST)
2.4 Jumlah produk inovasi
3.1 Persentase mahasiswa penerima beasiswa
3.2Jumlah mahasiswa berprestasi tingkat
nasional
3.3Jumlah mahasiswa berprestasi tingkat
internasional
4.1 Persentase Program Studi Akreditasi A
4.2 Akreditasi Institusi
4.3 Ranking PT Dalam pemeringkatan di Dunia
4.4Jumlah program studi berakreditasi
internasional
4.5Persentase Program Studi yang menerapkan
SPMI
4.6 Jumlah laboratorium bersertifikat
4.7 Rasio dosen terhadap jumlah mahasiswa
4.8 Persentase dosen bersertifikat pendidik
4.9 Persentase dosen berkualifikasi S3
4.10 Persentase Serapan Anggaran
4.11 Opini Laporan Keuangan
SASARAN STRATEGIS INDIKATOR KINERJA UTAMA
Meningkatnya kualitas
pembelajaran
DAFTAR KEBUTUHAN INFORMASI
1.
2.
3.
4.
Meningkatnya relevansi,
produktivitas dan daya
saing hasil penelitian dan
Pengabdian pada
Masyarakat
Meningkatnya kualitas
kegiatan kemahasiswaan
Revitalisasi pendukung
Tridarma PT
(3) Konsep Dasar Evaluasi
• “deskripsi sistematik dan assessmen fenomena tertentu yang berbasiskan kriteria eksplisit atau implisit”
• Evaluasi dapat juga dipahami sebagai proses yang mencakupi pengumpulan data, interprestasi data dan deduksi langkah-langkah pengembangan
• Analisis sistematik keunggulan dan manfaat suatu issue
• Aplikasi metode research khusus
• Basis informasi, pembuatan keputusan berbasis bukti
PARADIGMA EVALUASI
Berdasarkan evaluasi yg anda hasilkan, paradigma evaluasi mana yg tepat dengan evaluasi yg anda lakukan ?
Fase Evaluasi
• 1. Fase Perencanaan• Subjek yg dievaluasi, tujuan evaluasi, instrumen, jadwal
• 2. Fase Pengumpulan Data• Inti dari evaluasi. 4 Langkah : (1) Operasionalisasi dan pengembangan
instrumen;(2) Pengumpulan data dan;(3) Pengolahan data;(4)Pelaporan.
• 3. Fase Refleksi• FGD dalam suatu workshop,dll.
• 4. Fase Tindak Lanjut• evaluasi harus menstimulasi perubahan dan menjadi efektif dalam suatu
struktur organisasi. Hasil evaluasi harus digunakan untuk memperbaiki pengukuran suatu karakter.
Evaluasi Internal dan Eksternal
• Evaluasi internal adalah proses assessmen yang dilakukan oleh aktor-aktor yang merupakan bagian personil dari organisasi yang dievaluasi.
• Jika evaluator secara simultan adalah aktor pada bidang yang dievaluasi, misal anggota fakultas yang menilai proses dan produk fakultasnya, maka disebut Evaluasi Diri Internal.
• Jika assessmen dilakukan misal oleh unit Penjaminan Mutu universitas, evaluasi disebut Evaluasi Internal, bukan evaluasi diri.
• Evaluasi Eksternal adalah evaluasi yang dilakukan oleh pakar-pakar dari luar organisasi/institusi.
Critical Success Factor, contoh: Peningkatan jumlah Profesor
34 (2,4%) Profesor
242 (17%) Doktor
1430 dosen
874 (61%) Master (S2)
Sumber data: data statistik Unsyiah http://data.unsyiah.ac.id/
177 LK S3
Lulusan S2211 (54%)
Lulusan S3177 (46 %)
Jumlah Lektor Kepala UNSYIAH(per tanggal 30 september 2015)
Sumber data: BJM
Rektor :” 200 Profesor 5 tahun ke depan (2020)” (note: ~ 14 %)
BAPSI + BJM
VALIDASI DATA dan SESUAI DENGAN IKU & IK
DATA
DATADATA
PUKSIWAREHOUSE
VISI
PRODI, FAKULTAS
TPMA
IKU
Data base penelitian
Data base Perkuliahan Data base
Prestasi mahasiswa
& dosen
UNIT KERJA(PEMAKAI DATA DAN
INFORMASI)
Critical Succes
Factor (CSF)
Ka. Biro
REKTOR
DEKAN
BAPSI: Pengolahan data, analisis dan Pelaporan.BJM: Membantu BAPSI (temporer)
Reporting System (data and information)
LAPORAN KINERJA Universitas/Unit Kerja
LAPORAN KINERJA Fakultas dan Prodi
Entry Data On-line
PUKSI: (Aspek DATA) Data Warehouse, pengelompokkan data (Aspek INFORMASI & DATA) : Security, Pembagian dan pemakaian data & Informasi, membuat Program Aplikasi :DATA LAY-OUT (Table, graphics ect.)
SJMF
Perbaikan dan Pengembangan Program
INSTRUKSI
C. DATA DISSEMINATIONA. DATA COLLECTION
B. DATA WAREHOUSE
Unit Kerja lainnya
(UPT PUSTAKA,
UPT PUKSI)
M
A
N
A
G
E
M
E
N
T
I
N
F
O
R
M
A
T
I
O
N
S
Y
S
T
E
M
(
M
I
S)
(4) PELAPORAN: Presentasi, Komunikasi Data dan Informasi
Sebuah laporan mempunyai kelompok target pembaca. Tiga macam laporan:
1) Laporan Standar
2) Laporan atas kebutuhan
3) Laporan Deviasi.
4) ? Ketika menyusun laporan, apakah jelas bagi anda target pembacanya? Atau apakah jelas siapa/pihak mana yg membutuhkannya ?
MERANCANG LAPORAN: Pertanyaan-pertanyaan yang dimunculkan1) Mengapa membuat laporan ? (Why?)
2) Apa yang dilaporkan ? (What ?)
3) Bagaimana melaporkan ? (How?)
4) Siapa melaporkan kepada siapa (Who to Whom?)
5) Kapan Melaporkan ? (When?)
Self Assessment Report (SAR): harus
analitik berbasiskan data
(5) RENCANA SIKLUS EVALUASI DIRI PRODI
Klik : Contoh data prodi
(6) Data driven culture
1) Pengambilan keputusan berdasarkan informasi dan data yang benar dan tepat.
2) Perencanaan dilakukan berdasarkan data (data capaian/kinerja)
3) Mendorong menjadi universitas yang sehat
4) QA will need to keep track with new technological possibilities (learning analytics, mobile feedback, staff development...) AND cycles of programme innovation and development will need to be more flexible
Evaluasi Menurut Garis Waktu
Ex-ante Interim Ex-post
Fase Perencanaan Fase Implementasi Fase Impact/Dampak
Contoh : Evaluasi CPL
Ketersedian RPS/rumusan LO
Sapras memadai, dll
Metode mengajar
Evaluasi, dll
Pengukuran CPL
dll
The Blue Ocean Strategy
• ....never try to imitate anybody, because as long as you benchmark with somebody, at the best you will be like them. Meanwhile, the person you benchmark is ahead of you. You will never close the gap.
-W Chan Kim
Kriteria dan Standar
• Sebuah kriteria adalah ciri suatu item, suatu pengukuran atau suatu program yang membolehkan seseorang untuk membuat pernyataan tentang mutu item tersebut. • Sebagai contoh, “waterproofness”, adalah kriteria untuk jaket outdoor. Jika
jaket tetap kering setelah dibasahi 100 liter air, jaket dapat dinilai baik. Kriteria lain untuk kualitas jaket outdoor adalah anti angin (windproofness), isolasi termal dll.
• Sebuah standar menentukan tingkat kriteria yang harus dipenuhi sehingga dapat dinilai bagus/baik. • Sebagai contoh, kriteria jaket outdoor anti air akan dipenuhi jika bagian dalam
tetap kering setelah 30 menit dalam hujan lebat. “ Tiga puluh menit dalam hujan lebat” menjadi standar untuk kriteria anti air.