FaceTouch : Enabling Touch Interaction in Display Fixed Uis for Mobile Virtual Reality Jan Gugenheimer(Institute of Media Informatics, Ulm University) et al. UIST’16 Annual Symposium on User Interface Software and Technology, 2016 Copyright of figures and other materials in the paper belongs original authors. Presented by Min-Gyu Kim 2019. 05. 23 Computer Graphics @ Korea University
61
Embed
FaceTouch : Enabling Touch Interaction in Display Fixed Uis for …kucg.korea.ac.kr/new/seminar/2019/ppt/ppt-2019-05-23.pdf · 2019-05-23 · • Passive...
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
FaceTouch : Enabling Touch Interaction in Display Fixed Uis for Mobile Virtual Reality
Jan Gugenheimer(Institute of Media Informatics, Ulm University) et al.UIST’16 Annual Symposium on User Interface Software and Technology, 2016
Copyright of figures and other materials in the paper belongs original authors.
Presented by Min-Gyu Kim
2019. 05. 23
Computer Graphics @ Korea University
Min-Gyu Kim | 2019. 05. 23 | # 2Computer Graphics @ Korea University
Abstract
• Mobile HMD System 수요와 VR/AR 콘텐츠 증가
일반적인 VR System 한계와 복잡성이 주 원인
• 고사양의 PC 및 다양한 악세서리 (Gamepad, Tracking System …) 필요
Mobile VR 의 장점을 극대화 한 System 수요가 증가
• 가상 공간에서의 상호작용을 위한 입력 처리 기술이 필요
Min-Gyu Kim | 2019. 05. 23 | # 3Computer Graphics @ Korea University
Abstract
• HMD의 사용되지 않는 뒷면을 활용한 새로운 상호작용 System
단순한 Touch System 이 아닌 Sense of Proprioception 활용
Digital Nomad과 같은 환경을 체험 및 사용 가능
• 사용자가 한 공간에서 다양한 환경을 체험, 회의 및 원격 할 수 있음
Min-Gyu Kim | 2019. 05. 23 | # 4Computer Graphics @ Korea University
1. Introduction (1/3)
• Mobile HMD를 착용해 장소, 시간과 상관없이 가상 환경을 체험
사용자가 IVEs (Immersive Virtual Environments) 접근이 쉬움
• 시간과 장소 상관없이 가상공간 및 컴퓨터 작업이 가능을 분류
“Nomadic computing – An Opportunity”
• Leonard Kleinrock (Chairman, UCLA), Sigcomm, 1995
• ‘Nomadic Computing’의 분류에 따라 Nomadic VR로 정의
Min-Gyu Kim | 2019. 05. 23 | # 5Computer Graphics @ Korea University
1. Introduction (2/3)
• Mobile VR HMD에 최적화된 많은 입력 처리 기술이 상용화 및 개발
Tracking System (Oculus’ Positional Tracking, HTC Vive’s Lighthouse)
3D 마우스 및 Gamepad …
사용자 HMD 환경이 고정, Nomadic Scenarios 적합하지 않음
• Leap Motion과 같은 장비는 높은 수준의 몰입을 유도하는 장점을지니며, Nomadic Scenarios 에 적합하나 성능에 중점을 둠
“A Survey of 3d object selection techniques for virtual environments”[Argelagues, F., and Andujar, C. (VR4i Research Group, France). Computer & Graphics, 2013.]
Min-Gyu Kim | 2019. 05. 23 | # 6Computer Graphics @ Korea University
1. Introduction (3/3)
• 가상환경에서 상호작용이 ‘natural’ 을 추구하는 것 뿐만 아닌‘super natural’ 가능하게 해야 함
• 대부분의 Mobile VR의 UI는 Head-Rotation with Crosshair Cursor
사용자의 높은 몰입과 제일 많이 사용되는 방법으로 Head-Rotation
UI 요소들은 3D 공간 (World-fixed UI)의 고정 된 위치에 무조건 구현
• 측면 버튼이나 터치 패널과 같은 다른 입력 수단이 필요
Min-Gyu Kim | 2019. 05. 23 | # 7Computer Graphics @ Korea University
FaceTouch (1/2)
• 앞선 단점을 보완하는 Mobile VR HMD 상호작용 기술을 제시
HMD 뒷면을 터치 표면으로 활용
• 사용자 FoV(Field-of-View)내의 객체, 콘텐츠와 직접 상호 작용 가능
시각적인 피드백 및 Kinesthetic Memory 으로 빠르고 정확한 선택 가능
Figure 1
Min-Gyu Kim | 2019. 05. 23 | # 8Computer Graphics @ Korea University
FaceTouch (2/2)
• 사용자는 자신의 손을 볼 수 없으나 정확한 터치를 위한Proprioceptive Sense 활용
• FaceTouch의 프로토 타입을 만들어 두 개의 사용자 연구를 진행
정밀도와 상호작용 시간
터치패드의 장착 위치에 대한 영향 측정
• 손, HMD 옆면, HMD 앞
“Proprioceptive interaction” [Lopes, P. (Hasso Plattner Institute Potsdam, Germany) et al. CHI EA, 2015.]
Min-Gyu Kim | 2019. 05. 23 | # 9Computer Graphics @ Korea University
Contribution
• Nomadic VR Scenarios 에서 빠르고 정확한 상호작용 가능한 기술
자체적으로 사용하거나 Head Rotation과 결합하여 사용 가능
• Display-fixed UI를 위한 FaceTouch의 가능성을 확인
비교적 낮은 Selection error rate (≈ 3%), fast selection time (≈ 1.49 𝑠)
• 이는 일상적인 VR 환경에서 사용 가능함을 확인
• 터치 패드의 세 가지 장착 위치를 비교하며, 장점을 확인
Hand : ≈ 8%, Side : ≈ 29%
• 다양한 Application에서 상호 작용을 활용하는 방법을 보임
Related Work
Min-Gyu Kim | 2019. 05. 23 | # 11Computer Graphics @ Korea University
• 사용되지 않는 모바일 기기의 뒷면을 입력 면으로 이용하는Back-of-Device interaction들이 제안 됨
2. Related Work
2.1 Back-of-Device Interaction (1/2)
“Eyes-free access to mobile phones.”[Li, K. (Georgia Institute of Technology, USA) et al. SIGCHI, 2008.]
“Back-of-device interaction allows creating very small touch devices.”[Baudisch, P. (Hasso Plattner Institute Potsdam, Germany) et al. SIGCHI, 2009.]
Min-Gyu Kim | 2019. 05. 23 | # 12Computer Graphics @ Korea University
• 대부분의 디바이스 표면에 손의 표현을 최소화 하기 위해Proprioception 감각을 활용한 연구를 진행
대부분 디바이스의 상호 작용의 개념은 크기와 독립적으로 작동
• FaceTouch 는 Back-of-Device 상호작용을 활용해 VR 공간으로 확장
사용자는 완벽하게 손이 시각적으로 분리
• 사용자는 Proprioception 감각에 의존해 콘텐츠와 상호작용 진행
2. Related Work
2.1 Back-of-Device Interaction (2/2)
“Under the table interaction.”[Wigdor, D. et al. ACM Symposium on User Interface Software and Technology, 2006.]
Min-Gyu Kim | 2019. 05. 23 | # 13Computer Graphics @ Korea University
2. Related Work
2.2 Proprioceptive Interaction (1/4)
• 공간에서 자신의 몸과 여러 신체 부위의 위치와 관계를 아는 인간의능력을 Proprioception 이라 함
“Handbook of Perception and human performance.”
• Boff, K. R. et al. 1986
Min-Gyu Kim | 2019. 05. 23 | # 14Computer Graphics @ Korea University
2. Related Work
2.2 Proprioceptive Interaction (2/4)
• Proprioception 감각을 이용해 눈을 가린 사용자 자신의 ‘코’나 다른특정 신체 부위에 잘 도달할 수 있는지 실험을 진행
“Movement and thought: identical control mechanisms by the cerebellum.”
• Ito, M., Trends in Neurosciences 16, 1993.
• Proprioception 감각과 시각적 피드백과 비교하여 정확도 측정 연구
시각적 피드백을 제공하지 않아도
비교적 동일한 정확도를 지님
“Does proprioception guide back-of-device pointing as well as vision?.”[Wolf, K. (TU Berlin) et al. CHI, 2012.]
Min-Gyu Kim | 2019. 05. 23 | # 15Computer Graphics @ Korea University
2. Related Work
2.2 Proprioceptive Interaction (3/4)
• Proprioception 감각을 활용한 HMD와 상호작용을 위한 연구
“Exploring the use of hand-to-face input for interacting with head-worn displays.”[Serrano, M. (TU Berlin) et al. CHI, 2014.]
Min-Gyu Kim | 2019. 05. 23 | # 16Computer Graphics @ Korea University
2. Related Work
2.2 Proprioceptive Interaction (4/4)
• Back-of-Device 연구 분야와 같이 대부분 Proprioception 감각을 활용
이러한 연구들은 사용자의 손이 비교적 자유롭지 않음
사용자의 행동 및 공간 제약, 많은 물리적인 힘이 필요
• 이외에도 IVE 에서 활용되는 연구들이 진행
“Carryover effects of calibration to visual and proprioception information on near field distance judgments in 3D user interaction.” [Ebrahimi, E. (Clemson University, USA) et al. 3DUI, 2015.]
Min-Gyu Kim | 2019. 05. 23 | # 17Computer Graphics @ Korea University
• 최근 Virtual Reality 연구의 큰 부분은 상호작용개념 중심 연구 진행
IVE에 대한 상호작용개념의 초점은 대부분 사용자가
exocentric or egocentric 상호작용의 분류로 나뉨
2. Related Work
2.3 Input Techniques for Virtual Environments
“GyroVR: Simulating inertia in virtual reality using head worn flywheels.”[Gugenheimer, J. (Ulm University) et al. UIST, 2016.]
“A motorized swivel chair to nudge users‘ orientation for 360 degree storytelling in VR.”[Gugenheimer, J. (Ulm University) et al. CHI, 2016.]
Min-Gyu Kim | 2019. 05. 23 | # 18Computer Graphics @ Korea University
• 가상공간에 손의 시각화를 위한 물리적인 범위 내에서 콘텐츠와상호작용할 수 있어야 함
• Passive haptic을 위해 사용자의 손에 물리적인 패들을 사용한 선택작업 연구 진행
2. Related Work
2.3 Input Techniques for Virtual Environments
“Analysis of direct selection in head-mounted display environments.”[Lubos, P. (Immersive Media Group, Germany) et al. 3DUI, 2014.]
“The Virtual Mitten: A Novel interaction paradigm for visuo-haptic manipulation of object using grip force.”[Merwan, A. (Inria Rennes, France) et al. 3DUI, 2014.]
Min-Gyu Kim | 2019. 05. 23 | # 19Computer Graphics @ Korea University
• FaceTouch는 Tracking System, 추가 액세서리 없이 상호작용이 가능
이후 Mobile VR Device에서 쉽게 구현 가능 함
• Haptic Feedback을 제공하므로 일반적으로 선택 성능이 높음
2. Related Work
2.3 Input Techniques for Virtual Environments
“Touching the void: Direct-touch interaction for intangible displays.”[Chan, L. -W. (National Taiwan University) et al. SIGCHI, 2010.]
Interaction Concept
Min-Gyu Kim | 2019. 05. 23 | # 21Computer Graphics @ Korea University
3. Interaction Concept (1/2)
• 사용자 HMD 뒷면을 Touch sensitive surface로 활용
사용자 앞의 물리적 터치 표면과 IVE 내의 FoV 사이의 매핑을 생성
• 물리적인 터치패드에 손이 닿는 즉시 사용자 시야에 시각적으로 표시
LandOn
Min-Gyu Kim | 2019. 05. 23 | # 22Computer Graphics @ Korea University
3. Interaction Concept (2/2)
• 가상의 환경에서 선택 방법을 보완하기 위해 두 가지 기술을 사용
LiftOff
PressOn
사용자가 선택을 커밋하기 전에 손가락을 움직여 타겟 수정 가능 함
• FaceTouch의 UI 요소는 Display or World 에 고정 가능함
Min-Gyu Kim | 2019. 05. 23 | # 23Computer Graphics @ Korea University
• 대부분 Mobile VR HMD 에서 UI 요소들은 머리를 회전시킴으로써타겟을 시야 중심으로 맞춰 선택
이러한 상호작용개념은 User를 가상 환경에 몰입시키는 UI에 적합
3. Interaction Concept
3.1 World-Fixed UIs
Min-Gyu Kim | 2019. 05. 23 | # 24Computer Graphics @ Korea University
• World-Fixed UI와 달리 항상 사용자 FoV에 UI 요소들을 배치 가능
기존의 Mobile HMD 에서 이러한 방식은 선택이 불가능
다양한 메뉴 선택이나, 실용적인 상호작용이 가능
• Display-Fixed UI를 사용해 다양한 변수와 성능을 확인
3. Interaction Concept
3.2 Display-Fixed UIs
Figure 11.2018 평창 VR 홍보 이미지
Min-Gyu Kim | 2019. 05. 23 | # 25Computer Graphics @ Korea University
4. Implementation
• Oculus Rift DK2 뒷면에 터치패드(15.5cm x 9.8cm) 장착한 프로토 타입
Min-Gyu Kim | 2019. 05. 23 | # 27Computer Graphics @ Korea University
5. Display-Fixed UI – User Study (1/2)
• FaceTouch와 관련된 Investigate Parameters 를 조사를 위해Display-Fixed UI에 대한 선택 User Study 진행
Proprioception 에 의존하기 때문에 크기, 위치, 정확도에 대한 실험
• 시각적 피드백이 없는 LandOn 과 LiftOff, PressOn 비교
LiftOff, PressOn 은 현재 타겟의 위치를 보여줌
이는 LandOn 을 이후 연구에서 더욱 빠르고 정확한 선택 방법으로사용하기 위함
Min-Gyu Kim | 2019. 05. 23 | # 28Computer Graphics @ Korea University
5. Display-Fixed UI – User Study (2/2)
• 가상의 터치 평면을 실제 표면의 실제 거리에 위치 시킴
이는 Proprioception 의 간섭을 덜 받기 위함
• Oculus 가이드 라인에서 시야의 1/3 만 채워 “eye strain” 줄임
가상 평면의 거리를 변경했을 때의 효과도 고려 함
“Oculus VR best practices guide.” [Yao, R. (Oculus VR) et al. Oculus VR, 2017.]
Min-Gyu Kim | 2019. 05. 23 | # 29Computer Graphics @ Korea University
5. Display-Fixed UI – User Study
5.1 Study Design (1/3)
• 세 가지 독립 변수로 반복적인 대상 선택 작업을 수행
Commit Method.
• LandOn / LiftOff / PressOn
Plane distance.
• NearPlane / MidPlane / FarPlane
Target Size.
• Small circular target / Large circular target
• Commit Method.
Min-Gyu Kim | 2019. 05. 23 | # 30Computer Graphics @ Korea University
5. Display-Fixed UI – User Study
5.1 Study Design (2/3)
• Plane distance.
사용자의 시야에 있는 가상 평면의 크기에 대한 다른 비율 설정
• Target Size.
작은 원형 타겟은 크기가 48dp (density-independent pixels), 큰 타겟은2배의 크기
• Android design 가이드 라인을 기반으로 선정
Figure 4.
Min-Gyu Kim | 2019. 05. 23 | # 31Computer Graphics @ Korea University
5. Display-Fixed UI – User Study
5.1 Study Design (3/3)
• 앞선 방식으로 총 9가지 조합 (3 commit methods x 3 plane distances) 으로 실험 진행 및 설문지 제공
표적 위치와 함께 표적 크기를 무작위로 추출
• Dependent Variable: Selection Time, Error Rate, Simulator Sickness
Simulator Sickness의 측정은 RSSQ (Revised Simulator Sickness Questionnaire) 을 사용
“Development of method for quantification and analysis of simulator sickness in a driving simulation environment.” [Kim, D. (Hanyang University)., 1999.]
Min-Gyu Kim | 2019. 05. 23 | # 32Computer Graphics @ Korea University
5. Display-Fixed UI – User Study
5.2 Procedure
• 첫 번째 사용자 연구에서는 얼굴 장착 위치만 사용
모든 참가자는 프로토타입을 착용, 의자에 앉아 표적 선택 작업을 진행
전반적인 실험 설명을 진행 하고 설문 진행 (RSSQ 역시 작성)
• 참가자들은 편안함을 느끼도록 연습 후 실험 진행
참가자들은 각 72개의 표적 데이터를 출력하며, 1.5 시간이 걸림
Figure 4.
Min-Gyu Kim | 2019. 05. 23 | # 33Computer Graphics @ Korea University