PERSPEKTIF DAN PANDANGAN GLOBAL Kerangka Audit Kecerdasan Buatan (Artificial Intelligence) - IIA Aplikasi Praktis, Bagian A Edisi Khusus
PERSPEKTIF DAN PANDANGAN GLOBAL Kerangka Audit Kecerdasan Buatan
(Artificial Intelligence) - IIA
Aplikasi Praktis, Bagian A
Edisi Khusus
Global Perspectives: Artificial Intelligence II
1 globaliia.org
Daftar Isi
Pendahuluan ............................................................................................ 2
Kerangka Audit Kecerdasan Buatan - IIA ................................................ 2
Strategi AI ................................................................................................ 3 Ketahanan Siber ............................................................................... 3 Kompetensi AI ................................................................................... 4
Tata Kelola ............................................................................................... 5 Akuntabilitas, Tanggungjawab, dan Pengawasan ............................ 5
Regulator .................................................................................... 5 Badan Pengarah/ Dewan/ Komite Audit ..................................... 6 Manajemen Senior ..................................................................... 6 Lini Pertahanan Pertama ............................................................ 6 Lini Pertahanan Kedua ............................................................... 7 Lini Pertahanan Ketiga ............................................................... 7 Audit Eksternal............................................................................ 7
Kepatuhan Terhadap Peraturan ....................................................... 8
Arsitektur & Infrastruktur Data ............................................................... 10
Kualitas Data ......................................................................................... 11
Tindakan Perbaikan Facebook .............................................................. 12
Menggunakan Standar untuk Audit AI ................................................... 13
Penutup ................................................................................................. 13 Diterjemahkan dan diselaraskan oleh IIA Indonesia Volunteers:
1. I Made Suandi Putra, MSc, CIA, CRMP
2. I Gde Wiyadnya, CISA, CERG, ERMCP, CA
3. Agnes Maria Widiyanti, CCSA, ERMCP, CA
4. Stephanus Eko Wijikusuma, CISA, CA
Dewan Penasehat
Anggota dari IIA – Malaysia
IIA
Federasi Afrika
IIA – Belanda
Carolyn Saint, CIA, CRMA, CPA –
IIA – Amerika Utara
Terbitan Sebelumnya
www.theiia.org/gpi.
Masukan Pembaca
globaliia.org
Global Perspectives: Artificial Intelligence II
2
Catatan: Laporan ini
adalah laporan
kedua dari seri tiga
bagian. Untuk
informasi lebih lanjut,
lihat laporan
pertama: Kecerdasan
Buatan –
Pertimbangan untuk
Profesi Audit Internal
Pendahuluan Sebuah proyek baru Google yang disebut AutoML siap untuk menjadikan kecerdasan
buatan (artificial intelligence / AI) - sebuah istilah luas yang mengacu pada teknologi
yang membuat mesin "cerdas" - ke tingkat yang lain. ML, singkatan dari machine
learning, mengacu pada algoritma komputer yang menganalisa data untuk belajar
melakukan tugas-tugas. AutoML adalah algoritma machine-learning yang belajar untuk
membangun algoritma machine-learning lainnya.
Teknisi Google Jeff Dean menggambarkan proyek ini sebagai cara bagi perusahaan
untuk membangun sistem dengan AI walaupun mereka tidak memiliki keahlian yang
luas. Dia memperkirakan hanya beberapa ribu perusahaan yang memiliki kemampuan
yang tepat untuk membangun AI saat ini, namun banyak organisai lainnya telah
memiliki data yang diperlukan. "Kami ingin bergerak dari ribuan organisasi yang telah
memecahkan masalah dengan machine-learning menjadi jutaan," katanya kepada The
New York Times.
Google adalah salah satu dari banyak organisasi yang berinvestasi dalam penelitian
dan penerapan AI untuk mengotomatisasi, menambah, atau meniru kecerdasan
manusia - analisis manusia dan pengambilan keputusan. Mengikuti jalur penciptaan
yang dibuat oleh ilmu komputer, Microsoft baru-baru ini meluncurkan sebuah alat untuk
membantu pemrogram membangun "jaringan syaraf mendalam", sejenis algoritma
komputer yang menghilangkan "banyak beban berat, "menurut Joseph Sirosh, seorang
wakil presiden di Microsoft, di The Times. Fokus yang diberikan untuk memfasilitasi
inisiatif AI organisai ini memiliki arti bahwa semakin penting bagi profesi audit internal
untuk sepenuhnya bersiap dalam menghadapi AI saat ini.
Terdapat banyak istilah lain yang terkait dengan AI selain mechine-learing, seperti
pembelajaran mendalam, pengenalan gambar, pemrosesan bahasa alami, komputasi
kognitif, penguatan kecerdasan, peningkatan kognitif, peningkatan kecerdasan mesin,
dan peningkatan kecerdasan. AI, seperti yang digunakan dalam Kerangka Audit IIA
(Framework), mencakup semua konsep ini.
Kerangka Audit Kecerdasan Buatan - IIA Seperti yang dijelaskan dalam tulisan sebelumnya, Kecerdasan Buatan - Pertimbangan
untuk Profesi Audit Internal, peran audit internal dalam AI adalah untuk "membantu
organisasi dalam mengevaluasi, memahami, dan mengkomunikasikan tingkatan di
mana kecerdasan buatan akan memiliki dampak (negatif atau positif) terhadap
kemampuan organisasi untuk menciptakan nilai dalam jangka pendek, menengah, atau
panjang. "
Untuk membantu audit internal memenuhi peran ini, auditor internal dapat
memanfaatkan Kerangka Audit IIA dalam memberikan layanan konsultasi, asurans,
atau gabungan konsultasi/ asurans yang terkait AI, yang sesuai dengan organisasi.
Kerangka ini terdiri dari tiga komponen menyeluruh - Strategi AI, Tata Kelola, dan
Faktor Manusia - dan tujuh elemen: Ketahanan Siber; Kompetensi AI; Kualitas Data;
Arsitektur & Infrastruktur Data; Pengukuran Kinerja; Etika; dan Kotak Hitam (The Black
Box)
3 globaliia.org
Global Perspectives: Artificial Intelligence II
Audit internal harus mempertimbangkan berbagai penugasan atau pengendalian, dan aktivitas atau prosedur dalam menerapkan Kerangka dan menyediakan jasa konsultasi, asurans atau gabungan jasa konsultasi/assurans dari Audit Internal yang berhubungan dengan kegiatan AI organisasi. Tujuan dan kegiatan atau prosedur yang relevan yang membahas Strategi (elemen Ketahanan Siber dan AI) dan Tata Kelola (elemen Arsitektur & Infrastruktur Data dan Kualitas Data) dari Kerangka ini disediakan dalam laporan ini. Tujuan dan kegiatan atau prosedur yang relevan yang membahas tata kelola (ElemenPengukuran Kinerja) dan elemen Faktor Manusia (Etika dan Kotak Hitam) akan diberikan di Bagian III dari seri tiga bagian ini.
Strategi AI Strategi AI masing-masing organisasi akan unik yang sesuai dengan
pendekatan organisasi untuk memanfaatkan peluang yang diberikan AI.
Strategi AI organisasi mungkin merupakan perluasan keseluruhan strategi
data digital atau strategi big data organisasi. Strategi AI harus secara jelas
mengartikulasikan hasil kegiatan AI yang diinginkan. Strategi AI harus
dikembangkan secara kolaboratif antara pimpinan bisnis organisasi yang
dapat mengartikulasikan hasil kegiatan AI yang diinginkan serta memahami
bagaimana hasil tersebut dapat dihubungkan dengan tujuan organisasi, dan
pemimpin teknologi yang memahami kemampuan, kendala, dan aspirasi
teknologi AI organisasi tersebut. Baik pemimpin bisnis maupun profesional
teknologi juga perlu dilibatkan dalam mengelola pelaksanaan strategi AI.
AI bergantung pada big data, sehingga strategi big data organisasi harus
dikembangkan dan diterapkan sepenuhnya sebelum mempertimbangkan
AI. AI dapat membantu organisasi dalam menangkap pandangan (insight)
dari big data. Seperti yang dijelaskan dalam Panduan Audit Teknologi
Global IIA: Memahami dan Mengaudit Big Data , dengan menggunakan
pandangan tersebut, "organisasi dapat membuat keputusan yang lebih
baik, menargetkan pelanggan baru dengan cara yang kreatif dan berbeda,
memberikan layanan kepada pelanggan yang ada dengan model
penyampaian yang menyasar dan lebih baik, yang unik untuk setiap
individu, dan menawarkan layanan dan kemampuan baru yang benar-
benar membedakan perusahaan dari pesaingnya". Organisasi yang
memanfaatkan peluang AI dapat mengembangkan keunggulan kompetitif
yang dapat bertahan, dan strategi AI harus dikembangkan serta diterapkan
dengan berlandaskan pada ketahanan siber dan kompetensi AI.
Ketahanan Siber
Kemampuan organisasi untuk melawan, bereaksi, dan pulih dari serangan
siber, termasuk penyalahgunaan teknologi AI organisasi yang secara
sengaja dengan cara jahat, menjadi semakin penting (lihat Tindakan
Perbaikan Facebook di halaman 12). Kepala Audit Internal (KAI) harus cepat
membangun kompetensi keamanan siber dalam tim mereka, terus
memantau risiko AI / kemanan siber, dan mengkomunikasikan kepada
manajemen eksekutif dan dewan mengenai tingkat risiko terhadap
organisasi dan upaya untuk mengatasi risiko tersebut.
Sebelum Audit Internal
mencoba mengevaluasi
strategi AI organisasi, Audit
Internal harus menentukan
strateginya sendiri untuk
menangani AI dengan
memasukkannya dalam
penilaian risiko dan
mempertimbangkan apakah
AI harus dimasukkan dalam
rencana audit berbasis risiko.
.
globaliia.org
Global Perspectives: Artificial Intelligence II
4
Tujuan dan aktivitas atau
prosedur yang relevan yang
diidentifikasi oleh IIA tidak
mencakup rencana audit yang
telah ditentukan, namun
merupakan contoh yang
berguna dalam
mengidentifikasi tujuan
penugasan atau pengendalian,
dan dalam merencanakan dan
melaksanakan penugasan
audit AI.
Penugasan audit AI harus
sesuai dengan Standar IIA
2200: Perencanaan
Penugasan. Rencana audit AI
dan tujuan dan prosedur
penugasan AI harus selalu
disesuaikan untuk memenuhi
kebutuhan organisasi
Kompetensi AI
Sebagaimana tertulis di dalam Kecerdasan Buatan - Pertimbangan untuk
Profesi Audit Internal, kumpulan professional berbakat di bidang teknologi
dengan keahlian AI dinyatakan jumlahnya sedikit. Bahkan jika proyek
seperti AutoML (lihat halaman 2) berhasil, memungkinkan organisasi untuk
membangun sistem dengan AI walaupun mereka tidak memiliki keahlian
yang luas, organisasi masih perlu mengisi kesenjangan pengetahuan
melalui staf yang memiliki pemahaman mendalam tentang AI walaupun
mereka tidak bisa "melakukan" AI.
Staf perlu:
Mengetahui bagaimana AI bekerja
Memahami risiko dan peluang yang diberikan AI
Menentukan apakah hasil AI seperti yang diharapkan
Mampu merekomendasikan atau melakukan tindakan perbaikan jika diperlukan
Kompetensi semacam itu akan dibutuhkan dalam audit internal dan di
antara lini pertahanan pertama dan kedua. Manajemen senior dan dewan
direksi juga harus mengetahui bagaimana AI bekerja dan memahami risiko
dan peluang yang dihadirkan AI.
Audit Internal harus juga memiliki kemampuan untuk menentukan
apakah penyedia teknologi AI pihak ketiga telah kompeten.
Tujuan dan Aktivitas atau Prosedur yang Relevan dengan Strategi AI
Tujuan Penugasan atau Pengendalian Aktivitas atau Prosedur
Terlibat aktif dalam proyek AI sejak
awal, memberikan saran dan
pandangan yang berkontribusi
terhadap kesuksesan implementasi
Menghadiri pertemuan tim proyek AI
.
Organisasi telah mendefinisikan strategi AI
Tentukan apakah strategi AI telah didokumentasikan dan jika sudah, periksa bahwa
strategi:
Mengartikulasikan hasil kegiatan AI yang diinginkan (tujuan strategis)
Mengartikulasikan pada tataran tinggi bagaimana tujuan AI akan tercapai (rencana strategis)
Memberikan asurans atas kesiapan dan
reaksi terhadap ancaman siber
.
Memanfaatkan kerangka keamanan siber yang mapan, bekerja sama dengan TI
dan pihak-pihak lain untuk memastikan pertahanan dan tanggapan yang efektif
diterapkan.
Adanya kecukupan sumber daya (staf
dan anggaran) untuk menerapkan
strategi AI.
Meninjau proses untuk menentukan kebutuhan staf dan anggaran untuk mendukung AI
Memberikan pertimbangan apakah
strategi telah mempertimbangkan
ancaman dan peluang AI secara
memadai.
Meninjau setiap penilaian mengenai ancaman dan peluang AI yang
tersedia. Jika tidak ada penilaian, berikan rekomendasi untuk melangkah
maju (bagaimana organisasi dapat merencanakan untuk mengidentifikasi
ancaman dan peluang AI).
5 globaliia.org
Global Perspectives: Artificial Intelligence II
Tata Kelola Tata Kelola AI merujuk kepada struktur, proses, dan prosedur yang diterapkan
untuk mengarahkan, mengatur, dan mengawasi kegiatan AI dalam organisasi.
Struktur dan formalitas Tata Kelola akan beragam sesuai dengan karakter
spesifik dari organisasi tersebut. Tata Kelola AI:
Membentuk akuntabilitas, tanggungjawab, dan pengawasan. Membantu meyakinkan bahwa pihak yang bertanggungjawab AI memiliki
keterampilan dan keahlian. Membantu meyakinkan bahwa kegiatan AI dan keputusan serta tindakan
terkait AI telah sesuai dengan nilai organisasi, serta tanggungjawab etis, sosial dan hukum.
Kebijakan dan prosedur AI harus dibentuk untuk keseluruhan siklus hidup AI —
dari masukan sampai dengan hasil keluarannya. Kebijakan dan prosedur juga
harus dibentuk untuk pelatihan, pengukuran kinerja dan pelaporan.
Akuntabilitas, Tanggungjawab, dan Pengawasan AI berpotensi untuk menciptakan keuntungan maupun kerugian besar. Pada
akhirnya, para pemangku kepentingan akan tetap meminta Dewan dan
Eksekutif Senior untuk bertanggungjawab atas hasil dari pemanfaatan AI
organisasi. Pada saat menilai tata kelola AI, auditor internal dapat
menggunakan pendekatan Tiga Lini Pertahanan (three lines of defense).
Ketiga lini pertahanan, bersama-sama dengan manajemen senior, badan
pengarah, auditor eksternal, dan pemerintah, semuanya memiliki peran dalam
AI. Auditor internal harus memahami peran dari masing-masing pihak, dan
bagaimana audit internal berhadapan dengan peran-peran tersebut.
Regulator
Regulator memberi informasi serta mengendalikan aktivitas tertentu (seperti
perbankan, perawatan kesehatan, atau keamanan makanan) di tingkat
nasional, regional maupun lokal. Regulator “memberi informasi” melalui
aktifitas seperti pengadaan penelitian, berpartisipasi dalam pembentukan
standar dan pedoman, serta komunikasi dengan pemangku kepentingan.
Regulator “mengendalikan” melalui aktifitas seperti pengawasan, dan
penentuan serta penegakan peraturan. Seperti disebutkan dalam The IIA
Position Paper: The Three Lines of Defense in Effective Risk Management and
Control, pemerintah terkadang menetapkan ketentuan untuk memperkuat
pengendalian dalam suatu organisasi dan dalam kesempatan lain melakukan
fungsi yang independen dan obyektif untuk menilai keseluruhan atau sebagian
dari lini pertahanan pertama, kedua atau ketiga terhadap ketentuan-ketentuan
tersebut.
Sampai saat ini, belum terdapat peraturan khusus mengenai AI. Namun,
bagian dari peraturan yang sudah ada dapat berkaitan dengan aktifitas AI, dan
pemerintah serta penyusun kebijakan di seluruh dunia telah menunjukkan
kepeduliannya melalui penelitian-penelitian, bahan diskusi, rekomendasi, dan
pedoman (lihat Kepatuhan terhadap Peraturan di halaman 8).
“Kerangka Audit Kecerdasan
Buatan (Artificial
Intelligence) – IIA adalah
sebuah alat yang sangat
praktis untuk membantu
audit internal untuk
memberikan keyakinan
independen atas proses
manajemen risiko,
pengendalian dan tata
kelola terkait AI.”
Nur Hayati Baharuddin,
Anggota, IIA–Malaysia
globaliia.org
Global Perspectives: Artificial Intelligence II
6
Regulator telah mengetahui pentingnya audit AI. Sebagai contoh, dalam
pedomannya di Off-The-Shelf (OTS) Software Use in Medical Devices,
departemen U.S. Food and Drug Administration mengetahui pentingnya
melakukan audit atas perangkat lunak berbasis pengetahuan OTS (sebagai
contoh, AI, expert system, dan perangkat lunak neural net). Mereka
menyatakan bahwa produsen diharapkan memberikan keyakinan “bahwa
metodologi pengembangan produk yang digunakan oleh pengembang
perangkat lunak OTS sudah benar dan memadai untuk penggunaan yang
dimaksudkan..” dan “merekomendasikan audit terhadap metodologi desain
dan pengembangan yang dipergunakan dalam konstruksi perangkat lunak
OTS. Audit ini harus melalui penilaian yang menyeluruh terhadap
pengembangan dan dokumentasi kualifikasi untuk perangkat lunak OTS”.
Auditor harus tetap memahami hal yang dilakukan oleh pemerintah dan
pengatur kebijakan dalam bidang AI, memberi saran yang penting kepada
manajemen dan Dewan dan menilai apakah tujuan pengendalian organisasi
terkait kepatuhan terhadap peraturan telah mencerminkan perkembangan
peraturan, standar dan pedoman.
“Dalam memberikan
asurans atas kegiatan
AI, audit internal harus
meyakini bahwa komite
audit dan dewan telah
diperlengkapi untuk
memahami peran
mereka dalam
mengarahkan
keuntungan dan risiko
terkait dengan AI di
perusahaan yang
mereka layani.”
Carolyn Saint,
KAI, University of
Virginia
Badan Pengarah/ Dewan/ Komite Audit
Dewan bertanggungjawab untuk pengawasan utama atas kegiatan AI
organisasi. Dewan dan Manajemen Senior harus diikutsertakan dalam
mendefinisikan strategi AI organisasi.
Audit internal harus memahami dan mendapat informasi yang memadai
tentang AI secara umum, khususnya kegiatan AI organisasi. Dalam
memberikan asurans atas kegiatan AI, audit internal harus menawarkan saran
dan pandangan untuk membantu meyakinkan bahwa Dewan telah siap untuk
perannya dalam AI.
Manajemen Senior Bersama dengan dewan, manajemen senior mendefinisikan strategi AI
organisasi. Manajemen senior juga mengatur tujuan AI dan mengembangkan
rencana untuk menerapkan strategi AI.
Audit internal harus terwakilkan dalam tim manajemen senior. Audit internal
harus mendapat informasi yang jelas mengenai perakarsa AI dari senior
manajemen terkait dengan manajemen risiko, tata kelola dan pengendalian
AI. Audit internal harus menjadi penasehat terpercaya manajemen senior.
Lini Pertahanan Pertama Manajer operasional harus memiliki dan mengelola risiko AI dalam kegiatan
sehari-hari. Audit internal harus menilai kebijakan dan prosedur AI dalam level
operasional, membuktikan bahwa tujuan pengendalian telah memadai dan
bekerja seperti yang direncanakan.
7 globaliia.org
Global Perspectives: Artificial Intelligence II
The Three Lines of Defense Model
Lini Pertahanan Kedua
Kepatuhan, etika, manajemen risiko, privasi dan keamanan informasi adalah fungsi lini pertahanan kedua yang kemungkinan besar akan mengawasi beberapa aspek risiko AI. Audit internal harus menilai kebijakan dan prosedur terkait AI pada lini pertahanan kedua serta membuktikan bahwa pengendalian sudah memadai dan bekerja seperti yang direncanakan.
Lini Pertahanan Ketiga
Audit internal juga harus memberikan jaminan independen terhadap risiko, tata
kelola dan pengendalian AI. Kerangka kerja Audit AI dari IIA dapat
memfasilitasi peran ini. Pemerintah dan pengatur kebijakan telah mengetahui
potensi AI dalam manajemen risiko dan kepatuhan. Menurut laporan Financial
Stabilities Board (FSB) - Artificial intelligence and machine learning in financial
services, “penggunaan AI dan mesin pembelajaran di layanan keuangan dapat
membawa keuntungan utamanya untuk kestabilan keuangan dalam bentuk
efisiensi dalam penyediaan layanan keuangan dan peraturan pengawasan
risiko sistemik. Aplikasi internal (back-office) dari AI dan pembelajaran mesin
(machine learning) dapat meningkatkan manajemen risiko, pendeteksian
kecurangan, dan kepatuhan terhadap peraturan, sebisa mungkin pada biaya
terkecil.” Demikian pula, departemen audit internal yang paling maju akan
mulai menggunakan algoritma untuk meningkatkan inisiatif audit dan
pengawasan berkelanjutan untuk mencapai efektifitas dan efisiensi.
Audit Eksternal
Audit eksternal adalah pihak ketiga tanpa kepentingan pribadi terhadap
organisasi dan mengungkapkan opini apakah laporan keuangan telah disusun
sesuai dengan kerangka kerja dan peraturan yang berlaku terkait perlaporan
keuangan. Terkait AI, audit eksternal kemungkinan besar akan fokus pada
hasil – sebagai contoh, algoritma dibelakang model atau penilaian manajemen
risiko, dan apakah algoritma tersebut memiliki dampak material terhadap
laporan keuangan organisasi.
“Munculnya penggunaan
AI menuntut agar audit
secara khusus menyasar
logika yang digunakan
dalam perancangan
algoritma.”
Hans Nieuwlands, Pejabat Eksekutif Tertinggi (CEO),
IIA–Belanda
globaliia.org
Global Perspectives: Artificial Intelligence II
8
Kepatuhan Terhadap Peraturan Peraturan pada umumnya tertinggal oleh perubahan teknologi, termasuk
teknologi AI. Namun, seperti dilaporkan The Hill, CEO Tesla, Elon Musk
memperingatkan National Governors Association (U.S.) bahwa peraturan
diperlukan lebih cepat dan bukan malah tertinggal. Sebagai tambahan,
peraturan privasi seperti Undang-undang Portabilitas dan Akuntabilitas
Asuransi Kesehatan Amerka Serikat Tahun 1996 (HIPAA) dan Peraturan
Proteksi Data Uni Eropa (GDPR), yang efektif pada Mei 2018, dapat
mempersulit implementasi AI. Kedua peraturan ini melindungi informasi pribadi
yang umumnya akan menjadi masukan (input) bagi teknologi AI.
Misalnya, Aturan Privasi HIPAA "menetapkan standar nasional untuk
perlindungan informasi kesehatan, seperti yang diterapkan pada tiga jenis
entitas berikut: perencana kesehatan, pemroses sistem informasi
perawatan kesehatan dan penyedia jasa kesehatan yang melakukan
transaksi perawatan kesehatan secara elektronik. Laporan FSB mengenai
AI dan Machine Learning dalam industri keuangan menyatakan, "beberapa
bagian GDPR sangat relevan dengan AI: Pasal 11 memberikan hak untuk
'penjelasan tentang keputusan yang dicapai melalui penilaian secara
algoritma; Pasal 9 melarang pemrosesan “data pribadi yang sensitif"; Pasal
22 mengatur hak atas data yang memenuhi syarat untuk dikecualikan dari
keputusan dengan konsekuensi hukum atau konsekuensi signifikan yang
semata-mata berdasarkan pemrosesan otomatis; dan Pasal 24
menetapkan bahwa keputusan tidak boleh didasarkan pada kategori
khusus dari data pribadi.
Beberapa masalah peraturan lainnya yang diakui secara umum termasuk
kepatuhan terhadap undang-undang antidiskriminasi dan kewajiban
hukum, terutama yang berkaitan dengan pihak ketiga yang menyediakan
layanan AI kepada organisasi tersebut. FSB menyimpulkan kekhawatiran
mengenai pihak ketiga dengan mengatakan "Banyak penyedia AI dan
machine learning saat ini di bidang jasa keuangan mungkin berada di luar
batas peraturan atau mungkin tidak terbiasa dengan peraturan perundang-
undangan yang berlaku. Dimana lembaga keuangan bergantung pada
penyedia layanan AI dan machine learning pihak ketiga untuk fungsi
kritikalnya, dan peraturan tentang alih daya (outsourcing) mungkin tidak
dipahami oleh penyedia layanan dan penyedia layanan ini mungkin tidak
diwajibkan memiliki supervisi dan pengawasan. Demikian pula, jika
penyedia alat semacam itu mulai memberikan layanan keuangan kepada
nasabah institusi atau ritel, hal ini dapat melibatkan kegiatan keuangan
yang berada di luar batas peraturan. "
9 globaliia.org
Global Perspectives: Artificial Intelligence II
Organisasi tidak boleh menunggu sampai terbitnya peraturan terkait teknologi. Bahkan jika peraturan yang ada tidak
secara khusus membahas AI, organisasi harus menanyakan apakah aktivitas AI mereka sesuai hukum yang ada.
Salah satu pendekatannya adalah melakukan skenario dan analisis “bagaimana jika” ("what if)? untuk menentukan
apakah aktivitas AI berpotensi digunakan untuk tindak kejahatan, atau mengakibatkan konsekuensi yang tidak
diinginkan yang menyebabkan kerusakan. Mereka yang bertanggung jawab atas tata kelola organisasi juga harus
mempertimbangkan bahwa aktivitas AI dapat berpotensi mengurangi pengendalian internal jika AI belajar untuk
menggantikan (override) peraturan yang telah ditetapkan atau jika sistem AI belajar berkomunikasi satu sama lain dan
"bekerja" bersama tanpa sepengetahuan organisasi. Pendekatan proaktif dalam mempertimbangkan hukum yang ada
akan membantu organisasi menjadi lincah saat peraturan baru diberlakukan dan menjadi efektif .
Tujuan dan Aktivitas atau Prosedur Audit yang Relevan dengan Tata Kelola AI
Tujuan Penugasan atau Pengendalian Aktivitas atau Prosedur
Memberikan assurans bahwa struktur
tata kelola AI telah ditetapkan,
didokumentasikan, dan berfungsi
sebagaimana mestinya.
Meninjau model bisnis dan struktur organisasi; menentukan apakah model
bisnis dan struktur organisasi mencerminkan strategi organisasi terkait AI.
Meninjau seluruh kebijakan dan prosedur terkait AI; menentukan apakah kebijakan dan prosedur organisasi mengidentifikasi secara jelas peran dan tanggung jawab AI terkait strategi AI, tata kelola, arsitektur data, kualitas data, tuntutan etis, dan pengukuran kinerja.
Menilai apakah orang-orang dengan
tanggung jawab AI memiliki kompetensi
yang diperlukan untuk melaksanakan
tugasnya. Misalnya, mereka yang
bertanggung jawab atas keharusan etis
harus kompeten dalam menilai perilaku etis
para pihak yang memberikan input manusia
ke dalam AI, dan harus independen
terhadap aktivitas AI
Mewawancari mereka yang bertanggung jawab atas AI.
Meninjau uraian pekerjaan terkait AI, keterampilan yang diperlukan, dll., Dan
memeriksa apakah mereka yang bertanggung jawab memiliki kualifikasi yang
diperlukan.
Memberika asurans bahwa kebijakan
dan prosedur terkait AI telah
ditetapkan dan didokumentasikan.
Meninjau kebijakan dan prosedur terkait AI dan menentukan apakah mereka
cukup menangani risiko AI.
Menentukan apakah kebijakan dan prosedur menyediakan perencanaan analisis
atau skenario "what if" secara periodik.
Memberikan asurans bahwa jejak audit
(audit trails) terkait aktivitas AI
memberikan informasi yang memadai
untuk memahami dan menjelaskan
keputusan AI.
Meninjau jejak audit (audit trails) AI
Menentukan apakah jejak audit memberikan informasi yang memadai untuk
memahami dan menjelaskan keputusan AI
Memberikan asurans bahwa kebijakan
dan prosedur telah dilaksanakan dan
sesuai dengan desain pengendalian,
serta bahwa karyawan mematuhi
peraturan tersebut.
Mengamati karyawan yang menerapkan prosedur AI.
Meninjau laporan saluran bantuan/ saluran pelaporan dan meninjau tindak lanjut
atas laporan yang mengarah kepada ketidakpatuhan atau bahaya yang terkait
dengan AI.
Mewawancarai karyawan yang dipilih secara acak dan menentukan apakah
mereka mengetahui tentang kebijakan dan prosedur AI
Mengidentifikasi and Meninjau kebijakan dan prosedur akses AI
Menevaluasi Kebijakan akses dan Menguji pengedalian akses
Menilai apakah tujuan pengendalian peraturan mencerminkan peraturan, standar,
dan panduan yang terbaru.
globaliia.org
Global Perspectives: Artificial Intelligence II
10
“Infrastruktur dan
Arsitektur data, serta
Kualitas Data seringkali
saling terkait. Tujuan
penugasan atau
pengendalian serta
aktivitas dan prosedur
yang sesuai di dalam satu
area dapat tumpang tindih
atau mempengaruhi
tujuan, aktivitas, dan
prosedur di area lainnya.”
Lesedi Lesetedi,
Wakil Direktur Eksekutif
(Wakil CEO) – Strategy &
Corporate Services
Botswana College of Distance &
Open Learning (BOCODOL)
Arsitektur & Infrastruktur Data Arsitektur dan infrastruktur data AI kemungkinan akan menjadi satu dan
sama, atau setidaknya hampir sama, sebagai arsitektur dan infrastruktur
organisasi untuk menangani big data. Meliputi pertimbangan untuk:
Cara data diakses (metadata, taksonomi, pengenal unik, dan
kesepakatan penamaan).
Privasi dan keamanan informasi di seluruh siklus hidup data
(pengumpulan data, penggunaan, penyimpanan, dan
pemusnahan).
Peran dan tanggung jawab terkait kepemilikan dan penggunaan
data selama siklus hidup data.
Menurut InfoWorld, organisasi harus fokus pada tiga area utama
pengembangan perangkat lunak untuk memastikan keberhasilan integrasi
AI:
Integrasi data - data dari berbagai sumber harus diintegrasikan
sebelum AI dapat digabungkan ke dalam aplikasi dan sistem
organisasi.
Modernisasi aplikasi - pembaruan perangkat lunak perlu dilakukan
secara teratur. Pembaruan yang sering namun kurang intensif harus
menggantikan pembaruan yang jarang namun lebih intensif agar tidak
memperlambat atau mengganggu sistem.
Pendidikan untuk Pegawai - pengembang perangkat lunak, manajer
proyek, dan staf teknologi lainnya perlu mengikuti perkembangan
machine learning dan setiap aspek teknologi "stack" (perangkat lunak
dan komponen yang menjalankan AI).
Selain itu, data harus dicocokan sehingga modifikasi seperti pembulatan,
demografi, dan variabel lainnya dinormalisasi sebelum data dimasukkan.
Tujuan dan Kegiatan Audit terkait Arsitektur Data dan Infrastruktur yang Relevan dengan AI
Tujuan Penugasan atau Pengendalian Aktivitas atau Prosedurs
Memberikan asurans bahwa organisasi memiliki
ketahanan siber. Ketahanan siber ini meliputi, tapi
lebih luas dari pada, keamanan siber. Ketahanan siber
meliputi keamanan (daya tahan), reaksi, dan
pemulihan.
Memahami dan mengaudit Big Data (lihat Panduan
Praktik IIA: Memahami dan Mengaudit Big Data).
Menilai apakah organisasi sedang mempersiapkan kepatuhan
terhadap peraturan teknologi baru, seperti General Data
Protection Regulation (GDPR) Uni Eropa.
Menilai apakah protokol pemulihan bencana organisasi
mencakup kegagalan AI, termasuk rincian kontrol yang
memelihara peraturan yang ditetapkan oleh tata kelola AI.
Memberikan asurans bahwa infrastruktur data memiliki
kapasitas untuk mengakomodasi ukuran dan kompleksitas
aktivitas AI yang ditetapkan dalam strategi AI.
Menilai apakah infrastruktur mampu menangani data terstruktur
dan data tidak terstruktur.
Memberikan asurans bahwa organisasi telah menetapkan
taksonomi data. Mengevaluasi kualitas, kelengkapan, dan
konsistensi penggunaan untuk taksonomi data
perusahaan.
Menilai apakah taksonomi cukup kuat untuk mengakomodasi
ukuran dan kompleksitas aktivitas
Global Perspectives: Artificial Intelligence II
11 globaliia.org
Kualitas Data Kelengkapan, keakuratan, dan reliabilitas data dimana algoritma AI
dibangun sangatlah penting. Agar AI dapat sukses, organisasi memerlukan
akses ke sejumlah besar data berkualitas tinggi - data yang didefinisikan
dengan baik dan dalam format standar. Seringkali, sistem tidak
berkomunikasi satu sama lain atau melakukannya melalui pengaya (add-on)
atau penyesuaian yang rumit. Bagaimana data ini direkonsiliasi, disintesis,
dan divalidasi juga sangat penting, sistem yang tidak saling berkomunikasi
atau komunikasi yang dilakukan dengan rumit dapat menggagalkan aktivitas
AI organisasi.
Selain data yang didefinisikan dengan baik dalam format standar (data
terstruktur), teknologi AI dapat bergantung pada data tidak terstruktur
(seperti posting media sosial). Seperti yang dijelaskan dalam "Panduan
Audit Teknologi Global: Memahami dan Mengaudit Big Data" – IIA, data
tidak terstruktur "biasanya lebih sulit dikelola, karena sifatnya yang
berkembang dan tidak dapat diprediksi, dan biasanya bersumber dari data
yang besar, berbeda, dan seringkali bersumber eksternal. Akibatnya, solusi
baru telah dikembangkan untuk mengelola dan menganalisis data ini”.
Ironisnya, organisasi dapat beralih ke machine lerning - sebuah bentuk AI -
untuk meningkatkan kualitas data. Misalnya, mungkin ada beberapa versi
nama vendor di banyak unit bisnis, basis data, dan spreadsheet
perusahaan. Program komputer bisa memindai dan merekonsiliasi semua
variasi nama dalam hitungan jam atau menit.
Audit Internal harus
melihat bagaimana data
yang digunakan dalam
Laoran Audit Internal telah
dicocokan, digabungkan
dan divalidasi.
Tujuan dan Kegiatan Audit yang Relevan dengan Kualitas Data
Tujuan Penugasan atau Pengendalian Aktivitas atau Prosedur
Memberikan asurans atas keandalan algoritma yang
mendasari AI dan data yang digunakan dalam
algoritma.
Mendapatkan sampel data mentah yang merupakan input ke AI.
Memverifikasi bahwa organisasi telah menerapkan
metodologi untuk memvalidasi hasil AI dengan hasil aktual
dunia nyata, dan bahwa kebijakan dan prosedur tersedia
untuk terus mengukur, memantau, meningkatkan, dan
memperbaiki ketidakkonsistenan antara keduanya.
Memberikan asurans bahwa input data direkonsiliasi dan
dinormalisasi untuk memaksimalkan akurasi.
Memverifikasi bahwa organisasi memiliki kebijakan dan
prosedur untuk terus mengukur, memantau, meningkatkan,
dan memperbaiki akurasi data dan masalah integritas
Mengkonfirmasi bahwa organisasi secara konsisten mengikuti
dan memantau kerangka rekonsiliasi data yang telah
diformalkan, yang mencakup alasan untuk membedakan
metodologi dan hasil jika ada.
Memberikan asurans bahwa data gabungan sudah lengkap. Memverifikasi bahwa organisasi memiliki kebijakan dan
prosedur untuk membatasi bias dalam input data.
Memberikan asurans bahwa kelengkapan data diukur dan
dipantau dan bahwa setiap pengecualian material yang
mempengaruhi pengambilan keputusan diidentifikasi dan
dijelaskan. Hal Ini harus dilakukan meskipun pengecualian
ditentukan oleh manusia maupun AI.
Meninjau laporan metrik adan metrik AI
Menilai apakah mereka yang bertanggung jawab atas pengambilan keputusan telah menerima dan mempertimbangkan penjelasan mengenai pengecualian material yang berkaitan dengan kualitas data
Global Perspectives: Artificial Intelligence II
globaliia.org
Tindakan Perbaikan Facebook Tantangan Facebook terhadap AI telah banyak dibicarakan. Jaringan sosial raksasa ini telah mendapat banyak
sorotan mengenai bagaimana teknologinya yang didasari algoritma telah digunakan - atau disalahgunakan –
untuk tindak kejahatan.
Alur Waktu dari Kekhawatiran Utama:
Pada musim gugur 2016, ProPublica melaporkan bahwa pengiklan dapat menggunakan alat
penargetan iklan Facebook untuk mengecualikan ras tertentu – potensi pelanggaran terhadap
peraturan perumahan dan hak sipil federal.
Di Bulan September 2017:
o Facebook mengungkapkan bahwa pemegang akun palsu yang berbasis di Rusia membeli iklan
yang cukup besar pada isu-isu yang sensitif menjelang pemilihan presiden 2016.
o ProPublica melaporkan bahwa alat penargetan iklan Facebook memungkinkan pengiklan untuk
menargetkan "pembenci" etnis tertentu.
Di Bulan Oktober 2017, kekhawatiran tentang berita palsu muncul kembali saat Facebook (dan Google)
mengirimkan informasi palsu mengenai penembakan massal di Las Vegas.
Dalam kesaksian pada subkomite Senat peradilan pada akhir Oktober, Facebook mengatakan bahwa
jangkauan iklan yang didukung Rusia lebih jauh dari yang mereka duga, mencapai sebanyak 126 juta
orang Amerika sebelum dan selama pemilihan presiden tahun 2016.
Tangggapan Facebook
Pada tanggal 20 September 2017, Chief Operating Officer Facebook, Sheryl Sandberg mengumumkan tiga tindakan perbaikan:
1. Facebook mengklarifikasi kebijakan periklanannya dan memperketat proses penegakannya untuk
memastikan konten yang bertentangan dengan standar komunitas Facebook tidak dapat digunakan untuk
menargetkan iklan. (Kebijakan dan proses terkait dengan komponen Kerangka Kerja Tata Kelola. Antara
lain, Tata Kelola Pemerintahan harus menetapkan akuntabilitas dan pengawasan terhadap penegakan
hukum.
2. Facebook meningkatkan "review dan pengawasan manusia" dari proses otomatisnya. (Tinjauan dan
pengawasan manusia berkaitan dengan komponen Kerangka Kerja Etika. Antara lain, etika membahas
apakah hasil AI mencerminkan tujuan awal dan apakah keluaran AI digunakan secara legal, etis, dan
bertanggung jawab.)
3. Facebook sedang mengerjakan sebuah program yang akan mendorong pengguna Facebook untuk
melaporkan potensi penyalahgunaan sistem iklannya. (Sistem Pelaporan berkaitan dengan komponen
Kerangka Kerja Pengukuran Kinerja. Sistem pelaporan membantu manajemen memantau kinerja aktivitas
AI. Pengukuran Kinerja akan dibahas dalam laporan Pespektif dan Pandangan Global yang akan datang.)
Dengan memanfaatkan Kerangka Audit IIA, Auditor Internal dapat memberikan jasa asurans dan pemberian
nasehat untuk membantu organisasi memisahkan kebenaran dan fiksi serta menangani risiko pelaporan,
operasi, serta kepatuhan yang terkait dengan AI.
Global Perspectives: Artificial Intelligence II
13 globaliia.org
Menggunakan Standar untuk Audit AI Auditor internal harus memenuhi semua standar IIA yang berlaku saat
merencanakan atau melakukan pemeriksaan AI. Standar Utama IIA yang
sangat relevan dengan AI disajikan pada kotak di samping, namun standar
yang lain juga dapat diterapkan.
Setiap standar dilengkapi dengan Panduan Implementasi. Panduan
pelaksanaan membantu auditor internal dalam menerapkan Standar.
Panduan tersebut secara kolektif membahas pendekatan, metodologi, dan
pertimbangan audit internal, namun tidak merinci proses atau prosedur.
Penutup Kerangka Audit AI IIA akan membantu auditor internal memberikan jasa
asurans dan advisori terkait AI secara sistematis dan disiplin. Apakah
teknologi dan aktivitas AI organisasi dikembangkan secara internal, melalui
teknologi fasilitatif seperti AutoML, atau oleh pihak ketiga, audit internal
harus disiapkan untuk memberi saran kepada Dewan dan manajemen
senior, berkoordinasi dengan lini pertahanan pertama dan kedua, dan
memberikan asurans atas pengelolaan, tata kelola, dan pengendalian risiko
AI.
Naskah ini adalah Bagian II dari seri tiga bagian untuk memberikan saran dalam menerapkan komponen Strategi dan Tata Kelola AI dari Kerangka Audit AI - IIA. Bagian III akan memberikan saran lebih lanjut untuk menerapkan komponen Tata Kelola, dan komponen Faktor Manusia.
.
Tentang IIA
Institute of Internal Auditor (IIA) adalah advokat, pendidik, dan penyedia standar, panduan, dan sertifikasi profesi audit internal yang paling banyak dikenal. Didirikan pada tahun 1941, IIA saat ini melayani lebih dari 190.000 anggota dari lebih dari 170 negara dan teritori. Kantor pusat global IIA berada di Lake Mary, Florida, AS. Untuk informasi lebih lanjut, kunjungi www.globaliia.org.
Disclaimer Pendapat yang diungkapkan dalam Perspektif dan Pandangan Global belum tentu merupakan kontribusi masing-masing kontributor atau pemberi kontribusi.
Hak Cipta Hak Cipta © 2017 oleh The Institute of Internal Auditors, Inc. Semua hak dilindungi undang-undang.
Fokus Audit
Standard Utama IIA
Standar Internasional Praktik
Profesional Audit Internal IIA terdiri dari
beberapa standar yang sangat relevan
dengan AI, termasuk:
Standar IIA 1210: Kecakapan
Standar IIA 2010: Perencanaan
Standar IIA 2030: Pengelolaan Sumber
daya
Standar IIA 2100: Sifat Dasar
Pekerjaan
Standar IIA 2110: Tata Kelola
Standar IIA 2130: Pengenalian
Standar IIA 2200: Perencanaan
Penugasan
Standar IIA 2201: Pertimbangan
Perencaan
Standar IIA 2210: Tujuan Penugasan
Standar IIA 2220: Ruang Lingkup
Penugasan
Standar IIA 2230: Alokasi Sumber
Daya Penugasan
Standar IIA 2240: Program Kerja
Penugasan
Standar IIA 2310: Pengidentifikasian
Informasi