20160723 unibook lt大会_発表資料(HoloLensのアプリ開発)

HoloLensのアプリ開発環境構築方法と、MR体験例のご紹介

2016/7/23 Riftup (@WheetTweet)

自己紹介・VR/ARアプリ開発者 ・VRメディア PANORAで寄稿あり ・勉強のため、Unityのアセットを調べて ブログに書いてます。 ・日本初？のUnity Certified Developer

@WheetTweet

HoloMagiciansHoloLensの日本初コミュニティです。 体験会や勉強会を不定期に開催しています。

http://holomagicians.azurewebsites.net

VR 代表作(MRは勉強中)

スパイダーマン風体感ゲーム (2014 OculusShare登録)

VR向けUI体験 （2014/5電撃PlayStation 掲載)

シューティングゲーム(2014/6 OcuFes)

VR向けWebブラウザ体験 (2015/9 OC2、2015/10 DCExpo)

本日お話させていただくこと

1. UNIBOOK5に執筆したダイジェスト

2. UNIBOOK5からのアップデート

1. UNIBOOK5に執筆したダイジェスト

HoloLensとはMicrosoftが2016年初旬に発売したMixed Reality 体験ができるスマートグラス

HoloLensとは実世界にCGを重ね合わせてみることができます。

空間認識がこれまでにないほど正確で速いです

https://www.microsoft.com/ microsoft-hololens/en-us

https://developer.microsoft.com/ja-jp/windows/ holographic/hololens_shell_overview

HoloLensとは$3,000

2016年7月現在では、開発者キットのみ

日本での発売は未定 (2016/5 de:codeにてMS社員の講演で確認)

HoloLensのアプリ開発者キットなので、最低限のアプリしか入ってません

アプリがないなら作ろう！http://www.ac-illust.com/main/search_result.php?page=1&word=残念&mode=&cid=&word_id=&order=1&format=all&creator=&nq=&orientation=all&crtsec=all&pp=70

HoloLensのアプリ追加したい場合、方法は二つ

（１）　Windows Storeから購入 （２）　自分で作る 本日のお題

HoloLensのアプリ作る方法は２つ

(1) Visual Studioを使ってUWPを作る (2) Unityで作る

MicrosoftもUnityを推奨！

まずは環境構築

HoloLensアプリ開発向け環境構築必要なもの：Windows Desktop PC (Windows10推奨。8.1や7でもよいが、使えない機能があるとのこと。Macは不可)

詳細はこちら https://developer.microsoft.com/ja-jp/windows/holographic/install_the_tools

補足：Windows 10を入れたParallel DesktopでWindows 10 Mobileの デプロイは成功した。BootCampなら基本問題ないはず(未確認)

HoloLensアプリ開発向け環境構築

Emulatorの場合、Windows10Pro限定。 かつ、スペックの高いPCが必要 64bit CPU、メモリ8GB以上、Hyper-Vサポート

詳細はこちら https://developer.microsoft.com/ja-jp/windows/holographic/install_the_tools

HoloLensアプリ開発向け環境構築構築手順

1. Visual Studio 2015 Update3 「カスタム」を選択しUWP用のツールを選択 2. HoloLens Emulator(実機がある場合不要) 3. HoloLens用のUnity 指示に従ってインストールすればOK 詳細はこちら https://developer.microsoft.com/ja-jp/windows/holographic/install_the_tools

エミュレータを使うとできること

基本的な見え方の確認

自分で作った アプリケーションの動作確認

ここまでがUNIBOOK5の内容

2. UNIBOOK5からのアップデート

HoloLensで魔法を使う方法を考えてみた

http://www.ibtimes.co.uk/hololens-microsoft-shows-off-mixed-reality-game-project-x-ray-1522746

魔法といえば、、

呪文の詠唱で魔法力を高めたり

呪文の詠唱で自分の周囲に エフェクトがついたり

まずはHoloLensで音声を使えるようにすべきhttp://www60.atwiki.jp/mbanext/pages/46.html

http://handofcat.blog.fc2.com/blog-entry-57.html

Windows10で音声といえばCortana

CortanaとUnityを連携できれば、魔法を使う、を再現可能！

CortanaとUnityを連携させる方法は？

http://matome.naver.jp/odai/2139881598212551601/2139881790813952303

CortanaとUnityを連携させる方法は？

公式、およびAsset Storeにはなさそう、、

CortanaとUnityを連携させる方法は？

https://digitalerr0r.wordpress.com/2015/10/21/voice-activating-your-windows-10-games-using-speech-synthesis-voice-recognition-and-cortana/

MS社員の方のブログで発見！感謝！

このブログで紹介されている内容

https://digitalerr0r.wordpress.com/2015/10/21/voice-activating-your-windows-10-games-using-speech-synthesis-voice-recognition-and-cortana/

Unityで定義した文章をCortanaの認識対象にするサンプルコード

Unity Cortona

日本語環境でうまく動かなかったので、、

http://magicbullet.hatenablog.jp/entry/Unity_Cortana2

認識対象の文章を変える方法、HoloLens向けにビルドする方法を追加して、ブログに掲載済み

Unity Cortona

のみだった。

Unity Cortona

が必要。

この方法は、

呪文を唱えた結果、魔法を出すには、

色々試行錯誤しましたが、

最終的にVisual Studioで作った コードからUnityの関数を呼び出すことに成功

ソースコード一式のzip： https://1drv.ms/u/s!AIq6rsyH7lzvgolg

VoiceSpeech.csの一部

http://magicbullet.hatenablog.jp/entry/Unity_Cortana3解説したブログ

この仕組みを使ってやってみたこと

“Fire”で火の玉を出して、”Go”でターゲットに 当てるデモを作成 (ソースコード付きでブログに公開中)。

http://magicbullet.hatenablog.jp/entry/Unity_Cortana3

でも、呪文はもっと長い文章を 読んでいるような、、

http://mentalinnovation.com/plus/whymerits/

そこで、長い文章が認識できるか実験してみました。

「なまむぎ なまごめ なまたまご」の認識に成功

長い呪文詠唱でも安心！

HoloLensのDeveloper サイトには Unityを音声で制御する仕組みが公開

https://developer.microsoft.com/en-us/windows/holographic/holograms_101#chapter_4_-_voice

簡単に使えるけどHoloLens専用

今回の仕組みは、UWP対応していれば なんでもOK

HoloLensMeta2

Windows 10 MobileRift , others

まとめと今後の予定・HoloLensのアプリ開発環境構築の方法を紹介

10月開催のDigital Contents Expo@日本科学未来館に コンテンツを出展(おそらくMeta2を使用)

・HoloLensで魔法を使うゲームを作るために、 音声認識の機能、音声認識をUnityで使う方法を紹介

[まとめ]

[今後の予定]