인체데이터를 이용한 수술 계획 및 훈련 시뮬레이터 개발dk.kisti.re.kr/files/notice-10.pdf · Report Trainer Display and Organ Trainee Haptic Rendering 3D Deformable

인체데이터를 이용한 수술 계획 및 훈련 시뮬레이터 개발

박세형 바이오닉스연구단

KIST

컴퓨터 기반 수술 요소기술

의료영상 3차원 모델 영상유도 수술 수술로봇

Computer Aided Brain Surgery

Multimodal Imaging and Brain Map Generation

Simulation-based Surgery Planning

Surgery Guidance based on Marker-less

Navigation

6DOF

robot arm 3D scanner

drill needle

3D model

End-effector

Fixation device Hematoma

멀티모달 브레인 맵 생성

MRA - TOF(Tetralogy of Fallot) MRI -Bone

CT – Bone, brain fMRI

정합된 브레인맵

• MRI, MRA, CT, F-MRI, DTI 등의 영상에서 필요한 정보를 각각 추출

• Segmentation된 영상을 Registration

시뮬레이션 기반 수술 계획

다중 모달 영상 정합 (CT+MR)

영상에서 해부학적 구조물 분할

3차원 통합 가시화

바늘 삽입 경로 생성

의료정보 집약적 GUI

삽입경로 충돌감지

사용자 친화적 경로 편집 기술

바늘 굽힘 모델링 기술

생체 조직의 변형 모델링 기술

영상 기반 수술 가이드

환자-영상-로봇 위치 무마커 위치 정합 기술

수술 중 환자 얼굴의 3차원 형상 정보 획득을 위한 스캐닝 기술 개발

로봇 자동 정밀 포지셔닝 기술 – visual servo

수술 도구의 실시간 정밀 추적 기술 (컴퓨터 비젼 기반 위치 보상)

의료영상 정합 오차 및 환부 움직임 등을 고려한 동적 오차 : 1.5 mm 이하

3D scanner

Pre-OP plan

(Path to target)

Patient

Point cloud from scanner

Pre-OP 3D model

Weighted ICP를 이용한 무마커 환자-영상 정합 (左) 및 중간 결과 (右) 수술 도구 실시간 추적

(컴퓨터 비젼 기반 위치 보상)

• 의사나 간호사 등 의료인력을 훈련시키거나 평가하기 위하여 실제 환자를 보살피는

것과 유사한 환경을 만들기 위한 장치나 소프트웨어.

• 마네킹

• 가상환경 (VR)

• 햅틱장치

• 실제 환자를 대상으로 하는 훈련에 따른 위험을 줄일 수 있음.

• 응급처치 훈련

• 주사기 삽입 등 기능 훈련

• 진단훈련

• 수술훈련

의료 시뮬레이션

의료 시뮬레이션

Eye surgical simulation

Temporal bone surgery

Cardiovascular stent simulation

Haptic I.V Simulator

Control

System

Haptic Interface

Haptic

Rendering

GUI

IV Simulation • Friction-based haptic hardware

• Realistic user interface MCU

Motor & Encoder

Tilt sensor

IV Simulation : Video

IV Simulation : Future works

Epidural injection simulation by Medic Vision Liver biopsy

• Perform user studies to identify the impact of each feedback on

user experience

• Expand into another medical simulation

(Biopsy, spinal anesthesia)

Geometric model Anatomical

information

Volumetric modeling Haptic rendering Tangible

workbench

Medical information

(CT,X-Ray)

Dental simulation Evaluation

Dental Simulation

Volumetric Haptic Model Adaptive Polygonization

Dental Drilling Simulation

Dental Simulation : Technology

Haptic Dental

Training System

Dental Simulation : Video

15

Laparoscopic Surgery Simulation Laparoscopic surgery , also called minimally invasive surgery (MIS)

is a modern surgical technique in which operations in the abdomen

are performed through small incisions (usually 0.5–1.5 cm) as

compared to the larger incisions needed in laparotomy .

Haptic

Hardware

훈련 평가

훈련 시나리오

작성

Report

Trainer

Display

Trainee

Haptic

Rendering

3D Deformable

Modeling

Graphic

Rendering

3D Human Body

and Organ

Modeling

Evaluation

Training

Scenario

Seoul National University

KIST

CubikTech NTResearch

Laparoscopic Simulation : Components

Visual model

Behavior/collision model

Real Time Deformation Modeling

Multi-layer data structure : Behavior/collision model, visual model

Barycentric mapping between behavior and visual models

Boundary-element method and FEM based real-time behavior model

Ray-traced collision model and force computation

Barycentric mapping

Collision detection/force

computation

Laparoscopic Surgery : Deformation modeling

Behavior model(BEM, FEM)

Polygon model for visualization Spring model for behavior computation

Surgical operation simulation

Liver- Gallbladder Connective-tissue modeling

grasping cauterizing Haptic rendering

Laparoscopic Simulation : Operation simulation

Color change

Laparoscopic Simulation :Visualization

Bleeding algorithm

Bleeding animation

Cauterizing mesh generation

Cauterizing animation

Smoking effect

Bleeding effect

Burning effect by cauterizing

Laparoscopic Simulation : Video2

관절경수술

뇌심부수술 : Endoscopic

Endonasal Approach

내시경 수술

인체정보의 활용

활용 분야

영상 기반 수술 소프트웨어 개발 시 테스트 용 환자 정보로 활용

의료 시뮬레이션 개발

의료용 교재 개발

추가 요구 정보

텍스춰 정보

재료특성 (material property) 정보

다양한 질병에 대한 정보