UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.

UNIVERSIDAD DE EXTREMADURA

Alumno: Tutor:

Leandro Pavón Serrano Pedro M. Núñez Trujillo

Septiembre 2011, Cáceres

Escuela PolitécnicaI. T. Telecomunicación. Sonido e Imagen

Proyecto Fin de Carrera

Virtual Blackboard: colour and human gestures motion tracking

2

Virtual Blackboard: colour and human motion tracking

2/31

Objetivos

● Explorar sistemas de tracking de objetos en vídeo

● Implementar componente que funcione en tiempo real

● Crear interacción del usuario a través de una cámara

3


3/31

Aplicaciones

Camimic ARMolePizarra Virtual RehabilitaciónFiltro de Color ARToolKitFiltro de Distancia OSGFiltro de Kalman OSGArtOpenCV OSGAL

4

CAMIMIC: Pizarra Virtual

4/31

kinectComp

Imagen +Profundidad

Filtro deDistancia

Filtro de Color

Camshift

Cámara

Imagen

Filtro deColor

Filtro de Forma

Filtro de Kalman

PizarraVirtual

5


5/31

kinectComp – Una kinect para todos

Network

kinectComp

mycomponentCompmycomponentComp

moleComp

6


6/31

Kinect Sensor

– Disponible desde Noviembre 2010

– Funciona en GNU/Linux, MacOS y Windows

– Usa una cámara RGB y otra infrarroja

– Configuración más sencilla que cámaras estéreo

– Menos precisión que el LASER pero más barato

– Open Source driver: OpenKinect (libfreenect)

7


7/31

Kinect – ¿Cómo funciona?

LámparaIR

CámaraIR

CámaraRGB

Mapa deDisparidadMapa de

Disparidad-- ==

8


8/31

Kinect – Sombras

9


9/31

Kinect – Coordenadas esféricas o cartesianas

10


10/31

Kinect – Calibración

Usando RGBDemo (Nicolas Burrus)

11


11/31

Filtro de Distancia

12


12/31

Filtro de Color y CAMShift

13


13/31

Detección de círculos – Hough Transform

14


14/31

Tracking – Filtro de Kalman

15

ARMole: Juego de RA para rehabilitación

15/31

cameraComp

Imagen

TrackingARToolKit

Inteacción

ARMole

Escena 3DOSG

Control porGUI

16


16/31

¿Qué es la Realidad Aumentada?Fusión entre el mundo real y el virtual

MundoReal

MundoReal Mundo

VirtualMundoVirtualRealidad Aumentada

17


17/31

¿Qué es la Realidad Aumentada?Añadir información en tiempo real en nuestro entorno

MundoReal

MundoReal Augmented

RealityAugmented

Reality++ ==

Información extra:

● Mediciones● Información online● Cálculos en tareas cotidianas● Asociación de perfiles● Reconocimiento por ordenador

Información extra:

● Mediciones● Información online● Cálculos en tareas cotidianas● Asociación de perfiles● Reconocimiento por ordenador

18


18/31

Ejercicios de rehabilitación en niños

Problema: Abandono frecuente de los ejercicios● Aburridos● Dolorosos● Largos en el tiempo

Solución: Juegos de Realidad Aumentada

19


19/31

URSUS – Un simpático robot para practicar los ejercicios

cameraCompsevillaComp

speechComp

armrocioComp brazoComp

20


20/31

Juego Whack-a-mole para ejercicios de brazoLos ejercicios: El juego:

21


21/31

¿Qué necesitamos para desarrollar este juego?

– Tracking de los movimientos del paciente

– Un mundo virtual interactivo

– Unir la interacción con el tracking

22


22/31

cameraComp

Imagen

TrackingARToolKit

Inteacción

ARMole

Escena 3DOSG

Control porGUI

23


23/31

ARToolKit – Tracking de marcas para RA

Ventajas:– Independencia iluminación– Fácil de implementar– 3D tracking con cámara simple– Varias marcas y multimarcas– Recupera el objeto tras perderlo

24


24/31

ARToolKit – Tracking de marcas para RA

Desventajas:– Invasiva– Reflejos– Pierde el objeto– No usa color

25


25/31

OpenSceneGraph (OSG) – Entornos 3D basados en árboles de nodos– Nodos controlados por matrices de transformación

RAÍZ

TRONCO TRONCO

RAMA

HOJA

HOJA

RAMA

BROTE

RAMA

BROTE

HOJAHOJA

BROTE

HOJA HOJA

HOJA

26


26/31

OSGArt y OSGAL – Interacción

OSG ARToolKit

Nodo controlado por

TransformacionesAfines

Marca 1ARToolKit

DistanciasTridimensionales

Marca 2ARToolKit

Cámara

Aumentar puntuación

Reproducirsonido

Modificarescena Mostrar

información

27


27/31

28


28/31

RoboComp + ARToolKit + OSG + Webcam

Características:

– Un juego interactivo y divertido

– Configurable para cada ejercicio

– Conexión con otros componentes

29

CAMIMIC y ARMole

29/31

Vídeos de las aplicaciones

CAMIMIC: Filtro de distancia con Kinect

CAMIMIC: Pizarra Virtual con Filtro de Kalman

ARMole: Modificación de la escena desde la GUI

ARMole: Interacción con los modelos y el audio

30

CAMIMIC y ARMole

30/31

Propuesta de trabajo futuroCamimic:

– Integrar la pizarra externa dentro en Camimic– Mejorar tracking añadiendo variables al filtro de Kalman– Añadir más funciones a la pizarra

ARMole:– Sustituir ARToolKit por un tracking sin marcas– Obtener más control e información desde la GUI– Añadir nuevos modelos y niveles para más ejercicios– Mejorar el sistema de audio y el de puntuación

31


31/31

Muchas gracias por su atención

Estaría encantado de responder a sus preguntas

Más información:http://landerpfc.wordpress.com

UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.

Documents