Prenez le contrôle de Kinect pour Windows SDK (Beta)
Apr 03, 2015
Prenez le contrôle de Kinect pour Windows SDK (Beta)
Agenda SDK & Architecture Buffer vidéo Buffer de profondeur Suivi de squelettes Gestion du son
SDK Développé par Microsoft Research Utilisation non commerciale
uniquement Windows 7 uniquement
x86 x64
Managed et C++
Architecture
SDK 3 flux disponibles
Image Profondeur Audio
Librairie NUI (Natural User Interface) Détection automatique Learning machine
SDKusing Microsoft.Research.Kinect.Nui; using Microsoft.Research.Kinect.Audio;
kinectRuntime = new Runtime(); kinectRuntime.Initialize(RuntimeOptions.UseDepthAndPlayerIndex | RuntimeOptions.UseSkeletalTracking | RuntimeOptions.UseColor);
INITIALISATION DU SDKDémonstration
Agenda SDK & Architecture Buffer vidéo Buffer de profondeur Suivi de squelettes Gestion du son
Buffer vidéo Résolutions :
640x480 1280x1024
Formats : RGB YUV
Données fournies au travers d’un stream
Evénementiel / Pooling
Buffer vidéopublic class ColorStreamManager { public BitmapSource ColorBitmap { get; private set; } public void Update(ImageFrameReadyEventArgs e) { PlanarImage Image = e.ImageFrame.Image; ColorBitmap = BitmapSource.Create(Image.Width, Image.Height, 96, 96, PixelFormats.Bgr32, null, Image.Bits, Image.Width * Image.BytesPerPixel); } }
AFFICHAGE DU FLUX VIDEO
Démonstration – Kinect Light Sabre
Agenda SDK & Architecture Buffer vidéo Buffer de profondeur Suivi de squelettes Gestion du son
Buffer de profondeur Résolutions
320x240 80x60
Données sous forme de stream Evénementiel / Pooling Stockage sur 13 bits
10 bits pour la distance en millimètres depuis le capteur
3 bits pour donner l’index de la personne reconnue
AFFICHAGE DU FLUX DE PROFONDEUR
Démonstration – Kinect Keyboard Simulator
Agenda Architecture Buffer vidéo Buffer de profondeur Suivi de squelettes Gestion du son
Suivi des squelettes Reconnaissance immédiate Evénementiel / Pooling 4 squelettes détectés
Chaque squelette donne sa position
Suivi des squelettes 2 squelettes suivis (tracked)
Liste de joints (points de contrôles) Chaque position donne également sa
qualité (.w entre 0 et 1) Notion de TrackingID
Points de contrôles
Suivi des squelettes Service de filtrage des données
Correction Lissage
kinectRuntime.SkeletonEngine.TransformSmooth = true;var parameters = new TransformSmoothParameters{ Smoothing = 1.0f, Correction = 0.1f, Prediction = 0.1f, JitterRadius = 0.05f, MaxDeviationRadius = 0.05f};kinectRuntime.SkeletonEngine.SmoothParameters = parameters;
SUIVI DU SQUELETTEDémonstration - Kinect Keyboard Simulator
Agenda Architecture Buffer vidéo Buffer de profondeur Suivi de squelettes Gestion du son
Gestion du son Kinect c’est aussi:
Un groupe de 4 microphones (Microphone array)
Des algorithmes de • Réduction du bruit ambiant• Annulation de l’écho
Beamforming :• Tracking de la source sonore
Compatible avec Microsoft Speech API
Pour aller plus loin http://msdn.microsoft.com/fr-fr/windows/
sdk-kinect http://blogs.msdn.com/b/eternalcoding/
archive/2011/06/14/fr-prenez-le-contr-244-le-avec-kinect-pour-windows-sdk.aspx
http://channel9.msdn.com/coding4fun/kinect
http://msdn.microsoft.com/fr-fr/windows/sdk-kinect
Programme de l’après-midi
Kinect 2D et détection de la main Mitsu Furuta / SENSORIT
Applications Kinectées, l’interaction à portée de main Thierry Bouquain & Pierres-Yves Gardette / UCAYA
Intégration de Kinect SDK pour le pilotage dans une scène 3D temps réel Benoit Laut / BEWISE
Kinect, Squelette et animations 3D Simon Ferquel / INFINITE SQUARE
Une vision de la visio-conférence du futur Niels Freier / WYGWAM
Ardrone & Kinect Niels Freier & Mickael Thumerel / MS LABS EPITECH
Bière/Pizza
Questions ?
Gagnez de superbes tee-shirts!
Résolution minimale du buffer de profondeur?
Gagnez de superbes tee-shirts!
Fréquence de rafraichissement de la vidéo en 1280x1024
Gagnez de superbes tee-shirts!
Donner les 3 valeurs possibles du TrackingState d’un squelette
Gagnez de superbes tee-shirts!
Combien de bits sont utilisés par pixel dans le buffer de profondeur
pour identifier l’utilisateur courant ?
Gagnez de superbes tee-shirts!
Par quoi faut-il masquer 13bits pour obtenir les 3 bits de poids faible
Gagnez de superbes tee-shirts!
Combien de points de contrôles par squelette ?
Gagnez de superbes tee-shirts!
Nom de l’artiste qui réalise les dessins de nos tee-shirts
Gagnez de superbes tee-shirts!
Combien de développeurs présents aujourd’hui