Eye Tracking: Teknologi dan Implementasi · PDF fileStudi kasus teknologi interaktif dan asistif: ... Vertigo Sweating Dynamic 3D contents 3D gaze tracking untuk mendeteksi motion

Eye Tracking: Teknologi dan Implementasi

Dr. Sunu Wibirama2016.06.04

1

Sunu Wibirama

1/18/162

Education

❑ 2008 – now : Lecturer in Department of Electrical Engineering and Information Technology, UGM, Yogyakarta

❑ 2015 : Visiting researcher in Tampere Unit for Computer-Human Interaction (TAUCHI), Tampere University, Finland

❑ 2014 Dr.Eng. Science and Technology Tokai University, Tokyo, Japan ❑ 2010 M.Eng Electronics Engineering KMITL, Bangkok, Thailand ❑ 2007 B.Eng. Electrical Engineering UGM, Yogyakarta, Indonesia

❖ User Experience and Behavioral Research ❖ Eye tracking applications ❖ Virtual and augmented reality technology ❖ Technology commercialization

Positions

Interests

Academic and Industrial Partners

University of Tampere Finland

Tokai University Japan

G-Force CRC LLC San Diego, US

Division of Digital BusinessPT. Telkom Indonesia, Tbk.

TUV Rheinland Indonesia

Shibaura Institute ofTechnology

Japan

EMC-Neuromarketing Indonesia

Apa itu Eye dan Gaze Tracking?

▪ Perangkat elektronik yang berfungsi untuk mendeteksi : (1) gerakan bola mata (eye tracking) (2) atensi / arah pandangan kita (gaze tracking)

▪ Keluaran dari eye tracking : 2D (horizontal, vertical)3D (horizontal, vertical, torsional)

▪ Keluaran dari gaze tracking : 2D (horizontal, vertical)3D (horizontal, vertical, depth)

Eye tracking

Gaze tracking

Apa teknologi di balik eye-gaze tracking berbasis video processing ?

Teknologi dasar deteksi posisi pupil

Dasar-dasar deteksi pupil dengan teknik pengolahan citra digital

Courtesy: S.Wibirama & K.Hamamoto

Pupil-Corneal Reflection

Courtesy: Jason Babcock

Courtesy: Aga Bojko

Vektor P-CR

Dari eye tracking ke gaze trackingMapping posisi pupil atau vektor P-CR ke target kalibrasi pada monitor komputer

Proses kalibrasi 2D

Heat map + gaze sequences

Real-time fixation traces

Hirarki aplikasi eye-gaze tracking

Eye-gaze tracking

Interaktif dan Asistif Diagnosis dan deteksi

- Aplikasi game- Kontrol komputer untuk difabel (assistive technology) - Virtual reality (teleconference dengan joint attention)

- Deteksi vertigo dan kelainan lain - Deteksi atensi pengguna (user experience) - Driving security (deteksi kantuk pada pengendara mobil)

(A.T. Duchowski, 2010)

(sebagai alat masukan) (sebagai teknik analisa)

Studi kasus teknologi interaktif dan asistif: gaze tracking untuk difabel

Pietro (52 tahun): - web designer- penyandang ALS (Amyotrophic lateral sclerosis) - Komunikasi dengan iAble systemReferensi: Majaranta, Päivi, Hirotaka Aoki, Mick Donegan, Dan Witzner Hansen, John Paulin Hansen, Aulikki Hyrskykari and Kari-Jouko Räihä. "Gaze Interaction and Applications of Eye Tracking: Advances in Assistive Technologies.” 1-382 (2012), accessed February 15, 2014. doi:10.4018/978-1-61350-098-9

(Courtesy: SRLABS )

Studi kasus teknologi interaktif dan asistif: gaze tracking untuk game

The Eye Tribe ($99 eye tracker) - Mini remote eye tracker- Untuk perangkat portabel ber- basis android dan windows- Port USB 3.0 Referensi: http://www.damngeeky.com/2013/09/09/13887/the-eye-tribe-tracker-initiates-hand-free-input-for-android-devices-and-pcs.htmlCourtesy: Gaurav (damngeeky.com)

Studi kasus teknologi diagnosis dan deteksi: Studi kegunaan (usability study)

Courtesy: Romano dan Chen (2011)

Studi kasus teknologi diagnosis dan deteksi: video-oculography untuk diagnosa vertigo

Referensi:S. Wibirama,  S. Tungjitkusolmun, and C. Pintavirooj , “Dual-Camera Acquisition for Accurate Measurement of Three-Dimensional Eye Movements,” IEEJ Transactions on Electrical and Electronic Engineering, Vol.8(3), 2013, pp. 238-246.

Nystagmus saat vertigo

Deteksi posisi pupil dan gerakan torsi iris

G-Force CRC LLC San Diego, US

3D gaze point

Distance of screen 70 cm

screen

user

Referensi: S. Wibirama and K. Hamamoto, “3D Gaze Tracking on Stereoscopic Display using Optimized Geometric Method”, IEEJ Transactions on Electronics, Information, and Systems, Vol. 134 (3), 2014, pp. 345-352.

Studi kasus teknologi diagnosis dan deteksi:3D gaze tracking untuk mendeteksi motion sickness saat melihat video 3D

Tokai University Japan

19

Headache

Increased salivation

Eye strain

Stomach awareness

Burping

Difficult to focus

Vertigo

Sweating

Dynamic 3D contents

3D gaze tracking untuk mendeteksi motion sickness saat melihat video 3D (1/3)

Referensi: S. Wibirama and K. Hamamoto, "Investigation of Visually Induced Motion Sickness in Dynamic 3D Content based on Subjective Judgment, Heart Rate Variability, and Depth Gaze Behavior,"in Proceeding of The 36th An- nual International Conference of the IEEE EMBS, Chicago, United States of America, 26-30 August 2014, pp. 4803-4806.

203D gaze tracking untuk mendeteksi motion sickness saat melihat video 3D (2/3)

70 cm

39 cm

3D gaze tracker ECG recorder

Dynamic 3D content

sickness

ECG DATA (Participant # 3 – CG movie no fixation)

DEPTH GAZE DATA (Compared with Participant # 7)

3D gaze tracking untuk mendeteksi motion sickness saat melihat video 3D (3/3)

“Fruit Ninja” Game (Half Brick Studios)Participants: 10 participants (8M, 2F). Avg. 25,6 years old

Methods: Mobile eye tracking and Immersive Experience Questionnaire (IEQ)Tools: iPhone 5 (4 inch) and Google Nexus 7 (7 inch)

Study kasus: analisis kelekatan pengguna mobile game

University of Tampere Finland

Dasar-dasar ilmu untuk riset eye tracking

▪Pengolahan citra digital (teknik)

▪Computer vision (teknik)

▪Matematika aljabar (teknik)

▪ Interaksi manusia dan komputer (teknik)

▪Dasar anatomi mata (kedokteran)

▪Disain eksperimen (psikologi)

▪Statistika untuk riset perilaku (psikologi)

Riset-riset dasar

Riset-riset implementasi

Take home messages ☺▪ Eye tracking adalah perangkat elektronik untuk mendeteksi dan

menganalisa gerakan mata (sebagai alat deteksi / diagnosis).

▪ Eye tracking juga bisa dikembangkan untuk alat kendali komputer berbasis gerakan mata (sebagai alat masukan).

▪ Eye tracking memiliki peran yang penting sebagai alat bantu untuk difabel (penyandang cacat), alat diagnosa medis untuk penyandang kelainan sistem penglihatan, maupun alat diagnosis untuk riset perilaku (behavioral research)

▪ Riset eye-gaze tracking sangat potensial untuk dikembangkan di Indonesia dengan segmentasi pengguna yang luas

Q and A

[email protected]

http://sunu.staff.ugm.ac.id

http://bit.ly/gazetracking

@SunuWibirama

Kontak Diskusi

Bagi yang ingin sharing dan diskusi lebih lanjut, silakan hubungi:• Twitter: @SocaResearch• Email: [email protected] yang ingin bergabung dengan mailing list kami ([email protected]), silakan hubungi admin kami di: [email protected] Dengan Subject Email ”[Permohonan Subscribe Milis]“

26

Seeing is believing. Listening is understanding. Sharing is inspiring.

27

© 2015