Kinect opetuskäytössä

w w w . h a m k . f i

Liikeohjaintunnistin Kinectin hyödyntäminen opetuksessa

Leena Koskimäki ja Timo Niemelä HAMK

w w w . h a m k . f i

Työpajan sisältö

• Johdanto liiketunnistukseen– Kinectin toimintaperiaatteet

• Pelaaminen Kinectillä• Jatkosovellukset

– Kaupallinen toiminta– Open source

• Opetus ja oppiminen• Tulevaisuus

w w w . h a m k . f i

Liiketunnistus ja teknologia

w w w . h a m k . f i

Nintendo Wii• Wii Remote –ohjain toimii osoitusperiaatteella

– Tunnistaa infrapunan avulla kolmiulotteisen tilan• Bluetooth• Näppäimet ja kiihtyvyysanturi• Sisäänrakennettu kaiutin ja tärinäominaisuus

– Julkistettiin marraskuussa 2006– myynyt yli 95 miljoonaa kappaletta

• Käytännössä käynnisti valtavalla menestyksellään liike-

ohjattavien pelien buumin

w w w . h a m k . f i

Playstation Move

• Myynti alkoi syksyllä 2010• 9 miljoonaa myytyä ohjainta• Playstation Eye-kamera• Liiketunnistuksen taustalla:

– kolmiakselinen gyroskooppi– kolmiakselinen kiihtyvyysmittari– magneettikenttäanturi– väriään vaihtava pallo, jota PlayStation Eye -

kamera seuraa. 

w w w . h a m k . f i

Kinect• Liikeohjain Xbox 360-pelikonsolille

– Julkaistiin marraskuussa 2010 Pohjois-Amerikassa ja Euroopassa

• Laitetta myytiin ensimmäisen 60 päivän aikana 8 miljoonaa kappaletta

• Tammikuun 2012 lopulla myyty jo yli 18 miljoonaa kappaletta

w w w . h a m k . f i

Teknologia• Tunnistinsensori

– RGB-videokamera • Kasvojen tunnistukseen ja videopuheluihin• Resoluutio 640 × 480 pikseliä

– laserpisteprojektori – mustavalkoinen CMOS-kamera

• kolmiulotteisuuden havainnointi– 4 mikrofonia– moottorit jalustassa

• kallistamista varten (kääntöaste 27 astetta)• Kolmiulotteisen tilan ja pelaajan havainnointi perustuu laitteen lähettämään

infrapunasäteilyn alueella toimivaan laserpistekuvioon.• Skeletal tracking – syvyysdatan ja algoritmien avulla laite laskee kehosi ulottuvuudet• Kinect muodostaa syvyyskartan pisteistä ja laite pystyy tunnistamaan kuvasta kaukana

ja lähellä olevat kohteet.• Minimikäyttöetäisyys 1,8 metriä, vaatii tilaa n. 6 neliömetriä

w w w . h a m k . f i

w w w . h a m k . f i

Kinect Xboxilla

w w w . h a m k . f i

Pelit

• Toistaiseksi valikoima painottunut liikunta- ja ns. koko perheen peleihin– Vähitellen osattu alkaa hyödyntämään

Kinectin ominaisuuksia tehokkaammin• Jatkossa Kinect osana muuta

pelaamiskokemusta

w w w . h a m k . f i

Seuraava askel

• Yleisö alkoi pian kehittämään omia laiteajureita ja sovelluksia sekä kehitystyökaluja

• Microsoft reagoi aluksi negatiivisesti, mutta tarkisti kantaansa myöhemmin.– Viralliset julkaisut: Software Development Kit

• Beta 1 ja päivitetty Beta 2

w w w . h a m k . f i

Kinect Effect ja uudet mahdollisuudet

• Pelaaminen• Flying with Kinect – Avaglide

• Verkko-ostaminen– Microsoft Kinect and Virtual Fitting Room Demo

• Taide– Lambent Gambol

• Lääketiede– Gesture Surgery - Kinect Hacks

w w w . h a m k . f i

Kinect Effect ja uudet mahdollisuudet

• Käyttöliittymät– KinEmote Control Windows Media Center, Boxee

, XBMC & more Microsoft Kinect

– Kodin valaistus• Kuntoutus• Teollisuus

w w w . h a m k . f i

Opetus ja oppiminen

w w w . h a m k . f i

Kinectin mahdollisuudet opetuskäytössä – esimerkkejä

• Augmented Reality Magic Mirror using Kinect • KinectME • Google Earth & FAAST• Teaching Math With the Kinect• American Sign Language Recognition using

Kinect Skeleton features • DaVinci prototype on Xbox Kinect

w w w . h a m k . f i

Kinectin hyödyt opetuksessa• Edullisuus: Xbox-sensori maksaa keskimäärin 149 dollaria• Erilainen tapa oppia ja opettaa• Yhteistyö: Mahdollisuus useamman käyttäjän yhteiseen toimintaan

– Myös muiden palaute toiminnan tukena ja vaikuttajana

• Lisätyn todellisuuden hyödyntäminen• Robotiikka tai virtuaalinen/lisätyn todellisuuden oppimistilanne• Ilmaiset työkalut joilla luoda sovelluksia juuri omaan tarpeeseen

– Avoin ilmapiiri omien tuotosten jakamiselle

• Teknologian juurruttaminen• Pelaamisen konseptin laajeneminen

w w w . h a m k . f i

Haasteet

• Fyysisen tilan vaatimukset – muutos opiskelutiloissa?• Ohjelmat saattavat käynnistyä ja kalibroitua hitaasti• Etäisyys sensoriin• Viive liikkeen näkymisessä näytöllä• Liikkeistä ei saa palautetta (ei vastavoimaa), ei tukea

kädelle• Eri SDK-versiot ja ajurit: ei yhtä standardia

– Kaupallisten ratkaisujen puuttuminen

• Teknologia jää itseisarvoksi• Mullistus oppimisen ja opetuksen kulttuurissa

w w w . h a m k . f i

Kinect for Windows

• Helmikuussa 2012 julkaistiin nimenomaan PC-käyttöön tarkoitettu Kinect for Windows -versio päivitetyllä liiketunnistimella.– Objektien tunnistaminen 40 cm päästä– 1-4 Kinect-sensoria samassa tietokoneessa– Tehokkaampi skeletal tracking– Tarkempi puheentunnistus (Microsoft Speech -komponentit)– Päivitetty SDK ja kaupallinen sovellus loppukäyttäjille

w w w . h a m k . f i

Mitä seuraavaksi?