ARTIFICIAL INTELLIGENCE AND NEUROCOGNITION

Dr. Elly Matul Imah, M. Kom.

ARTIFICIAL INTELLIGENCE AND NEUROCOGNITION

• Ketua Program Studi S1 Matematika FMIPA Unesa (2016-2019)

• Sekretaris Pusat HKI dan Publikasi LPPM Unesa (2019-2020)

• Kepala Pusat Publikasi Ilmiah, LPPM Unesa (2020-2021)

• Kepala Satuan Artificial Intelligence dan Publikasi Ilmiah, Unesa (2021-skrg)

IPRPatent: 1 terdaftarCopyright: 8 software

Artificial Intelligence: MachineLearning

Biometric: Face recognition

Person identification based on ECG Signal

Biomedical and Bioinformatics Engineering: Sleep disorder detection

Arrythmia hearth disease detection based on ECG SIgnal

Pulmonary disease detection based on X-Rays

Epilepsy classification

Schizophrenia detection

Drug design -> ligan binding set

BOLD: barcode of life

Social behavior: Hate speech classification

Violence Detection in Public Area

Neuro Cognitive Student learning process analysis

Mental workload

Neuro Psychology Disorder detection

Artificial Intelligence and Neuro Cognitive

• Neuro Cognitive

• Student learning process analysis

• Mental workload

• Neuro Psychology Disorder detection

Neurocognition

Kognisi: kegiatan atau proses memperoleh pengetahuan, proses mendapatkan pengenalan dan pemahaman.

Neurokognisi mengacu pada proses menghubungkan dan menilai informasi, dan mencakup domain kognitif, yang meliputi kognitif dalam literatur, seperti kecepatan pemrosesan, memori, perhatian, atau fungsi khusus lainnya.

Kognisi sosial mengacu pada operasi mental yang mendasari interaksi sosial seperti persepsi, interpretasi, dan generasi tanggapan terhadap niat, disposisi, dan perilaku orang lain.

Electroencephalography (EEG)• EEG adalah metode pemantauan elektrofisiologi untuk

merekam aktivitas elektik pada otak.

• EEG merupakan suatu alat yang dapat menganalisa otakbeserta tingkah laku otak tersebut berdasarkan frekuensimasing-masing signal.

• Karakteristik dari pemeriksaan EEG adalah tidak merusak, tidakmenyakitkan, tidak memiliki efek samping dan memilikiinterpretasi yang akurat dalam mendeteksi beberapa kelainanotak seperti epilepsy, hilang ingatan, alzheimer dan autism.

Raw EEG Signals

Sejarah• 1875 - Richard Caton mempublikasikan penemuannya di British Medical Journal mengenai fenomena listrik

pada belahan otak kelinci dan monyet.

• 1890 - Adolf Beck mempublikasikan penelitian tentang aktivitas listrik spontan otak kelinci dan anjing yang mencakup osilasi ritmik yang diubah oleh cahaya dengan menempatkan elektroda langsung di permukaan otakuntuk menguji rangsangan sensorik.

• 1912 - Vladimir Vladimirovich Pravdich-Neminsky menerbitkan EEG hewan pertama dan potensi yang ditimbulkan dari mamalia (anjing).

• 1924 - Hans Berger mencatat EEG manusia pertama dan menemukan electroencephalogram. Sebuahpenemuan yang digambarkan "as one of the most surprising, remarkable, and momentous developments in the history of clinical neurology ".

Hans Berger

EEG pertama manusia

Gelombang dan Karakteristik

Gelombang pada EEG berdasarkan frekuensinya terdiri dari :

J. S. Kumar and P. Bhuvaneswari, "Analysis of Electroencephalography (EEG) Signals and Its Categorization-A Study," Procedia Engineering, vol. 38, pp. 2525-2536, 2012.

Gelombang danKarakteristik

Gelombang pada EEG berdasarkan frekuensinya terdiri dari :


Gelombang pada EEGGelombang pada EEG berdasarkan bentuk/struktur terdiri dari :

• Mu Wave

Memiliki bentuk yang spesifik dan terjadi pada frekuensi 8-13 Hz. Memiliki bentuk seperti huruf ‘V’

• K-Complex

Gelombang bentuk ini sering terjadi saat terjadinya gelombang Theta dengan amplitudo yang tinggi. K-Complex juga

merupakan gelombang delta dengan amplitudo yang besar dengan puncak yang tajam.


1

1

1

Gelombang pada EEGGelombang pada EEG berdasarkan bentuk/struktur terdiri dari :

• V wave

Gelombang ini sering terjadi ketika tidur, umumnya terjadi setelah terdapat gangguan tidur.

• Lamda

Gelombang ini berbentuk segitiga, terjadi saat mata menatap permukaan yang kosong. Gelombang lamda juga terjadi

apabila seseorang sedang melihat televisi atau membaca.


1

1

1

Spektrum pada EEG• Spektrum sebuah sinyal adalah rentang frekuensi di mana spektrum

berada. Spektrum sinyal menggambarkan besaran sinyal dan

karakteristik fase sebagai fungsi frekuensi.

J. Semmlow, "Linear Systems in the Frequency Domain: The Transfer Function," Biomedical Engineering, pp. 245-294, 2018.

1

1

• Emosi adalah proses psiko-fisiologis yang dikaitkan dengan suasana hati, temperamen, kepribadian dan disposisi, dan motivasi.

• Diekspresikan dengan isyarat non-verbal seperti intonasi suara, ekspresi wajah, dan gerak tubuh.

• Russell’s valence-arousal scale untuk menggambarkan emosi secara kuantitatif (Koelstra, et al.)

Keadaan Emosional

AI for Neurocognition Analysis

Student cognitive analysis

Paper based and expert judgment

Integrating Eye-tracker and BCI

Developing ICT based learning

instrumentEye gazed fixation

Analysis of student eye movement

Detecting emotional condition of student based on

EEG signals

Integrating eyetracker and BCI

Cognitive behavior using eye

movement and EEG signal

Perbandingan hasil pembelajaran klasikal dan mandiri

Kelas klasikal

Kelas mandiri

Result

N

oMhs

Postest Cluster

1 4 5 6 2 37

a7b skor nilai

Data

pre test

Data

post

test

Classical

1 S1 6

1

0 5

1

0 0

1

0 5 10 56 70 high high

2 S2 0

1

0 0 1

1

0 5 3 0 29 36.25 middle low

3 S3 0

1

0 4 0 6

1

0 8 0 38 47.5 high low

4 S4 0

1

0 0

1

0 0 6 2 0 28 35 high middle

5

S5

2

1

0 0

1

0

1

0 6 5 2 45 56.25 middle middle

6

S6

1

1

0 0 5 6 6 5 10 43 53.75 middle middle

7

S7

5 8 0 6

1

0 5 3 2 39 48.75 low middle

8

S8

5

1

0 7

1

0 5

1

0

1

0 0 57 71.25 middle high

9

S9 1

0

1

0 0

1

0 5 5 5 0 45 56.25 high middle

10

S10

6

1

0 0 5 7 5 5 2 40 50 low middle

11

S11

0 0 0 0 0 0 0 0 0 0 low low

12

S12

9 8 5

1

0 0 6 2 0 40 50 high high

No MHs

Postest Cluster

1 4 5 6 2 3 7a 7b skor nilai

Data pre

test Data

post test

Selft learning

1 S13 5 2 5 9 10 9 5 5 50 62.5 high high

2 S14 6 10 4 0 0 5 7 0 32 40 high low

3

S15

0 10 10 10 0 8 5 2 45 56.25 high high

4

S16

5 7 10 10 5 8 6 0 51 63.75 high high

5

S17

5 2 5 10 0 9 2 0 33 41.25 middle high

6

S18

0 10 10 10 0 6 9 10 55 68.75 high high

7

S19

5 10 9 9 0 6 4 10 53 66.25 high high

8

S20

10 0 1 1 6 5 0 0 23 28.75 middle low

9

S21

6 10 0 8 2 5 6 5 42 52.5 low middle

10

S22

0 10 0 0 0 0 0 0 10 12.5 middle low

11S23

0 2 5 0 5 5 1 2 20 25 low low

12

S24

8 2 10 10 0 10 8 2 50 62.5 middle high

13

S25

2 10 5 5 5 5 3 0 35 43.75 middle middle

Perbandingan hasil pembelajaran klasikal dan mandiri

Kelas klasikal

Kelas mandiri

Raw Data

AI for ASD Detection

EXPERIMENTAL RESULT

Sekilas Rekam Jejak Riset UNESA

No Riset 5 Tahun Terakhir

1 Sistem Cerdas Deteksi dan Peringatan Dini Tindak Kekerasan pada Anak

2Deteksi Dini Pervasive Developmental Disorder Mengunakan Sistem Terintegrasi Eyetracking dan Brain Computer Interface

3Analisis Proses Kognisi Dalam Memahami Konsep Matematika Berdasarkan Pergerakan Mata Menggunakan Eye-tracker

4Deteksi Dini Pervasive Developmental Disorder Mengunakan SistemTerintegrasi Eyetracking dan Brain Computer Interface

5Penentuan Sindrom Penyakit pada Traditional Chinese Medicine (TCM) denganMenggunakan Expert System

6Pengurangan mutual coupling antena array Vivaldi coplanar untuk aplikasitelekomunikasi S dan C Band

7RANCANG BANGUN SISTEM PREDIKSI BERAT BADAN SAPI MENGGUNAKAN EXPERT SYSTEM SEBAGAI SARANA PENINGKATAN PRODUKTIVITAS PETERNAK

8PENGEMBANGAN APLIKASI MOTION SENSING DENGAN WIRELESS BODY AREA NETWORK BERBASIS ANDROID SMARTWATCH



9

PERAN MODERASI CHANGE LEADERSHIP PADA PENGARUH ARTIFICIAL INTELLIGENCE TERHADAP KINERJA KARYAWAN DAN WORK ENGAGEMENT PADA PERUSAHAAN SEKTOR JASA DAN PERBANKAN

10

Pengembangan Ruang Sterilisasi Alat Pelindung Diri (APD) Tenaga Medis berbasis Internet of Things (IoT)

11

Mesin Pengolah Jamu SemiOtomatis (Foodgrade Standart) Guna Meninqkatkan Produktivitas Dan Kualitas Ukm Jamu Subuk Desa Mangkujayan Kabupaten Magetan

11

DETERMINASI TINGKAT KEPARAHAN OSTEOARTHRITIS BERBASIS FIRST ORDER (FO), SECOND–ORDER, RUN LENGTH MATRICES MENGGUNAKAN LINEAR VECTOR QUANTIZATION (LVQ)

12

Pengembangan Alat Pengukur Suhu Tubuh dan Denyut Jantung Pasien Positif COVID-19 Berbasis Internet of Things (IoT)

13 Interactive Sport Board Untuk Anak Disabilitas Intelektual Dalam Menghadapi Covid-19

14

Pengembangan Physical Distancing Detector (PDD) Terintegrasi Smartphone untuk Membantu Mengurangi Persebaran Covid-19

15

IMPLEMENTASI ALAT LATIHAN SHADOW BERBASIS MICROCONTROLLER DALAM MENINGKATKAN KELINCAHAN ATLET BULUTANGKIS

16 Pengembangan Robot Pengantar Makanan untuk Pasien Positif COVID-19

17

IMPLEMENTASI TEKNOLOGI INDUSTRI 4.0 INTERNET OF THINGS (IoT) DIMANFAATKAN UNTUK MONITORING ARUS DAN SUHU PADA JARINGAN DISTRIBUSI



18 PENGEMBANGAN PERANGKAT PEMBELAJARAN BERORIENTASI TEKNOLOGI AUGMENTED REALITY UNTUK MEMENUHI KEBUTUHAN KURIKULUM 2013 diSMK

19 Pengembangan Model Jam Getar Detector Untuk Lomba Lari Lintasan Melengkung Bagi Difabel Netra

20 Eco-Robot Pembersih Sampah dari Wilayah Perairan

21 PERANCANGAN ANALISIS GERAK TUBUH SECARA NIRKABEL UNTUK REHABILITASI KESEHATAN PASCA CEDERA PADA ATLET

22 Aplikasi Penggunaan Program Android Untuk Monitoring Prediksi Kebugaran Atlet Dengan Model Diskriminan

23 Rancang Bangun Automatic Programming Assessment Tool untuk Praktikum Pemrograman dasar

24 Ekstraksi Fitur Citra Berbasis DCT dengan Skema Penyembunyian Informasi untuk Perlindungan dan Pemulihan Kerusakan Dokumen Digital

25 Deteksi Kerusakan dan Perbaikan Dokumen Digital Menggunakan Metode Fragile Watermarking

26 Sistem Eyetracking untuk analisis kognisi anak dengan learning disabilities dalam pendidikan formal

PATEN HAK CIPTA

MESIN PEMBERSIH DAN PENGUPAS TELUR PUYUH REBUS SEMI OTOMATIS DILENGKAPI DENGAN SISTEM SCREW CONVEYOR DAN AUTO WASHER

PID201907130, 2019

PENGENALAN DINI GANGGUAN ASD BERDASARKAN GERAKAN MATA DAN SINYAL EEG

ID : EC00201981966

METODE DETEKSI VIRAL PNEUMONIA COVID-19 BERDASARKAN CITRA CT SCAN MENGGUNAKAN MACHINE LEARNING

P00202008665 Implementasi Linier Search, Binary Search Tree, dan Interpolation Search pada Pencarian Kode Pos dan Nama Daerah untuk Wilayah Surabaya

ID : EC00202018369, 2020

RANCANG BANGUN MESIN PENCETAK LEMPER SEMI OTOMATIS P00201704495, 2017

Implementasi Graf Hamilton untuk Mencari Rute Terpendek dalam Permasalahan Kunjungan Ormawa

ID : EC00201944087, 2019

MESIN PENYANGRAI KERUPUK DILENGKAPI DENGAN SPEED AND TEMPERATURE CONTROL SYSTEM

PID201907129 Kompresi Suara Menggunakan Fast Fourier Transform, Wavelet Symlet, dan Principal Component Analysis

ID : EC00202018348, 2020

Mesin Penyangrai Serbaguna Semi Otomatis dengan Teknologi Oil Jacket Dilengkapi ETC (Electronic Temperatur Control)

PID201906830 Kompresi Suara Menggunakan Fast Fourier Transform, Wavelet Symlet, dan Principal Component Analysis

ID : EC00202018348, 2020

MESIN PENGIRIS BAWANG MINIMALIS LOPREC (LOW POWER CONSUMPTION)

Aplikasi Perangkat Lunak untuk Menentukan Sindrom Penyakit pada Traditional Chinese Medicine dengan Menggunakan K Means

ID : EC00201949315, 2019

PROSES PEMBUATAN ALAT PENGUPAS KULIT TELUR PUYUH SERTA PENAMBAHAN AUTOWASHER UNTUK MENINGKATKAN KAPASITAS PRODUKSI

Modul Robotika Pemrograman Tingkat Lanjut Menggunakan CodevisionAVR

ID : EC00201941481, 2019

MESIN PENGUPAS MACAM-MACAM UMBI DILENGKAPI PENCUCI OTOMATIS

Hello Counselor ID : EC00201984577, 2019

MESIN PEMECAH TELUR, DAN PEMISAH KUNING TELUR DENGAN SISTEM SEMI OTOMATIS

E-cardio: sistem terintegrasi pendeteksian dini dan monitoring penyakit jantung

ID : C00201401298, 2014

ALAT PENGERING MAKANAN DENGAN 2 SUMBER ENERGI PANAS SISTEM SEMI OTOMATIS

METODE DAN PROSES PEMBUATAN SOFTWARE JOKO TINGKIR SEBAGAI PERINGATAN DINI TSUNAMI P00201702313

LSM (LANDSLIDE SMART MITIGATION) ALAT DETEKSI TANAH LONGSOR BERBASIS DOUBLE SENSOR PID201905389

ARTIFICIAL INTELLIGENCE AND NEUROCOGNITION

Documents