Hand Gesture and On-body Touch Recognition by Active Acoustic Sensing throughout the Human Body

Hand Gesture and On-body Touch Recognitionby Active Acoustic Sensing throughout the Human Body

人体を介したアクティブ音響センシングによるハンドジェスチャ及び肌上におけるタッチの認識

早稲田大学基幹理工学研究科 橋田研究室

横田智大

• 人間の身体，特に前腕や手を入力インタフェースとする研究が盛んに行われている

→ スマートウォッチ，身の回りの電化製品の操作

• 人体を用いた入力インタフェースとして，大きく２つのアプローチが存在する

① 片手のハンドジェスチャによって対象への入力を行う

② 指先の位置をトラッキングし，人間の肌をタッチインタフェースとする

背景

Hand Gesture On-body Touch

関連研究

Myo, 2013- Tomo, 2015WristFlex, 2014Gesture Wrist, 2001 WristWhirl, 2016

ハンドジェスチャを認識する研究

肌上でのタッチを認識する研究

SonarWatch, 2011 Touch Interface on Back of the Hand, 2011

Skin Buttons, 2014 SkinWatch, 2015 SkinTrack, 2016

ハンドジェスチャと肌上でのタッチを共に扱った研究はほとんど行われていない

→ 多数のセンサを扱った事例が多い

問題点

ハンドジェスチャと肌上でのタッチを共に扱った研究はほとんど行われていない

▶ ハンドジェスチャと肌上におけるタッチの２つの動作は，それぞれ異なるシチュエーショ

ンにおいて活用される入力手法である．

▶ そのため，入力インタフェースとしては「２つの動作をいずれも認識することができる」

というのが最も望ましい．

▶ 現状では，いずれか一方の動作のみを認識するシステムが多く提案されており，システム

ごとに使用するセンサの種類とその配置，そして信号処理の手法は異なる．そのため，２

つの動作の共に認識するためには，１つのデバイスに２種類の認識システムを載せる必要

がある．

• 少数のセンサで構成された共通のシステムを用いて，ハンドジェスチャと肌上におけるタッチ

の両認識を行う．

• 上記の２つの認識を実時間で同時に可能とすることで，それらを組み合わせた新たな入力を実

現する

研究の目的

従来の研究

onlyand

本研究

only

• 対象の物体を媒質として特定周波数の音響信号を送受信し，その信号の周波数応答を観察する手法

• 物体は自身の状態（＝材質や形状・境界条件）によって振動特性が異なるため，状態の違いによっ

て送受信させた信号の周波数応答にも違いがあらわれる．そのため，周波数応答を学習することで，

物体の状態を認識できる．

アクティブ音響センシング

送信信号 受信信号

Am

p(V

)

A

Frequency (Hz)

BAm

p(V

)

トランスミッタ（送信器）

レシーバ（受信器）

Frequency (Hz)

Am

plit

ude(V

)

対象の物体

状態 A

状態 B

アクティブ音響センシング

人体を対象としてアクティブ音響センシングを行った事例

Haptic-enabled Active Bone-Conducted Sound Sensing(Okawa, et al., 2017)

The sound of touch(Mujibiya, et al., 2013)

指の関節角度を認識 肌上のタッチを認識

多数のセンサを用いる1自由度の動きを認識

• 対象の物体を媒質として特定周波数の音響信号を送受信し，その信号の周波数応答を観察する手法

• 物体は自身の状態（＝材質や形状・境界条件）によって振動特性が異なるため，状態の違いによっ

て送受信させた信号の周波数応答にも違いがあらわれる．そのため，周波数応答を学習することで，

物体の状態を認識できる．

要件と設計方針

要件１ 少なくとも一対のトランスミッタとレシーバを用い，人体を伝送路として音響信号を送

受信する（アクティブ音響センシングを実現するための要件）

要件２ 多様なハンドジェスチャ及びタッチに対して受信信号の周波数特性が良好に変化する

要件３ センサを少数に抑えながら，多くの次元の特徴量を扱う

設計１ 防滴型の超音波センサを用いる → 人体において効率の良い信号の送受信を行う

設計２ ジェスチャを行う手首の関節部分と，前腕や手の甲の肌上にタッチをする指にそれぞれ

センサ（レシーバ）を１つ配置する → ２つのレシーバで各動作の認識を分担する

設計３ 周波数を掃引した超音波を送受信する → 各周波数成分のパワーを特徴量とする

センサデバイスの設計

センサの配置

１つのトランスミッタによって，ユーザの前腕に超音波の掃引信号を印加する．

２つのレシーバにそれぞれによって，ハンドジェスチャと肌上におけるタッチを認識する

センサデバイスの設計

バンド型デバイス リング型デバイス

• トランスミッタ

• ハンドジェスチャ認識用レシーバ を持つ

• タッチ認識用レシーバ

を持つ

１つのトランスミッタによって，ユーザの前腕に超音波の掃引信号を印加する．

２つのレシーバにそれぞれによって，ハンドジェスチャと肌上におけるタッチを認識する

トランスミッタ

レシーバ レシーバ14mm

手首や指の動きに伴う筋や関節の状態変化により，波の伝送路に当たる組織の振動特性が変化する

センサデバイスの設計

ハンドジェスチャの認識

ハンドジェスチャの様子

トランスミッタ レシーバ

Frequency (Hz)

Frequency (Hz)

Am

p(V

)A

mp(V

)

Swept Frequency Ultrasound

(20k-40kHz)

皮下の内部組織の違いにより，レシーバを押し当てる位置ごとに振動特性が変化する

センサデバイスの設計

肌上におけるタッチの認識

タッチの様子

トランスミッタ

レシーバ

Frequency (Hz)

Frequency (Hz)

Am

p(V

)A

mp(V

)

Swept Frequency Ultrasound

(20k-40kHz)

システム構成

Audio Interface(OCTA-CAPTURE, Roland)

Amplifier 0.54W(TA7252AP, TOSHIBA)

PC (MATLAB+LIBSVM)

Sensor Devices(MA40MF14-0B, Murata)

信号のパラメータ

• 掃引周波数

20kHz ~ 40kHz

(30ms, Liner Sweep)

• 音圧レベル

69.7dBSPL (average)

安全基準

20kHz：75dBSPL

25k～40kHz：115dBSPL

(国際放射線防護学会等)

認識セット

Right

DownUpNo gesture

PinchSpread

Thumb openLeft

1 2 3

4 5 6

7 8 9

1 2 3

4 5 6

7 8 9

2cm

2cm

On the forearmOn the back of

the hand

8~9cm

前腕，手の甲の肌上におけるタッチハンドジェスチャ

結果｜各動作にともなう掃引信号の周波数特性の変化

RightDownUpNo gesture

PinchSpreadThumb openLeft

(b)

(a)

1 2 3

4 5 6

7 8 9

2cm

2cm

On the forearm

※手の甲の肌上におけるタッチを行った際も，左図と同様にタッチ位置に応じてパワースペクトルが変化する

評価実験

参加者

• 人数：４人（男性３人，女性１人）

• 平均年齢：23歳

• 利き手：全員右手

ハンドジェスチャ，前腕の肌上におけるタッチ，手の甲の肌上におけるタッチの

各認識モデルを被験者毎に生成

全ての被験者において，安静座位，一定の腕姿勢という条件の下で認識セット毎に

10セット分の実験データを収集し，10分割交差検証を行う

No gesture

Up Down Right LeftThumb open

Spread Pinch

No gesture 98.75 0 0 1.25 0 0 0 0

Up 0 100 0 0 0 0 0 0

Down 0 0 98.75 1.25 0 0 0 0

Right 1.25 0 0 90.5 0 8.25 0 0

Left 0 0 0 0 97.5 2.5 0 0

Thumb open 3.25 0 0 0 0 96 0.75 0

Spread 0.25 0 0 0 0 2.75 97 0

Pinch 0 2.5 0 0 0 0 0 97.5

No touch

1 2 3 4 5 6 7 8 9

No touch

99.25 0 0 0 0 0 0 0 0 0.75

1 0 96.75 0 0 3.25 0 0 0 0 0

2 0 0 91 0 0 9 0 0 0 0

3 0 2.5 2.5 95 0 0 0 0 0 0

4 0 17 0 0 83 0 0 0 0 0

5 0 0 7 0 0 93 0 0 0 0

6 0 0 0 0 0 0 100 0 0 0

7 0 0 0 0 0 0 0 100 0 0

8 0 0 0 0 0 0 0 0 100 0

9 0 0 2.5 0 0 0 0 0 0 97.5

No touch

1 2 3 4 5 6 7 8 9

Notouch

100 0 0 0 0 0 0 0 0 0

1 0 100 0 0 0 0 0 0 0 0

2 0 0 97.5 0 0 2.5 0 0 0 0

3 0 0 0 100 0 0 0 0 0 0

4 0 3.5 0 0 96 0 0 0.5 0 0

5 0 0 2.25 0 0 97.75 0 0 0 0

6 0 0.25 0 0 0 0 96.75 0 0 3

7 0 0 0 0 3.75 0 0 96.25 0 0

8 0 0 0 3.25 0 0 0 0.75 96 0

9 0.5 0 0 0 0 0 4 0 2 93.5

評価実験

ハンドジェスチャ 前腕の肌上におけるタッチ 手の甲の肌上におけるタッチ

平均：97.0% (SD = 0.80%) 平均：95.7% (SD = 2.43%) 平均：97.3% (SD = 2.94%)

アプリケーション例

ハンドジェスチャと肌上におけるタッチを組み合わせて行う新たな認識

Spread Thumb open

No gesture1 2 34 5 67 8 9

2cm

2cm

On the forearm

ジェスチャとタッチを同時に認識することで，その組み合わせの数だけ多様な入力を生む

アプリケーション(動画)

ハンドジェスチャによって，キーパッドの入力モード

（小文字/大文字/数字入力）をスムーズに切り替える

アプリケーション(動画)

ハンドジェスチャによって，リモートコントローラの操作対象を切り替える

まとめと今後の課題

• アクティブ音響センシングの手法により，共通のシステムにおいてハンドジェスチャと肌上におけるタッチの両認識を行った

→安静座位，一定の腕姿勢という条件において評価実験を行った結果，各動作の被験者毎の認識率は95％以上であった

• ハンドジェスチャと肌上へのタッチを組み合わせる新たな入力手法を実現し，その入力手法を用いたアプリケーションを提案

した

① ３つの入力モードをハンドジェスチャによって切り替えるキーパッド

② 操作対象をハンドジェスチャによって切り替えるリモートコントローラ

①識別モデルの改善 ②デバイスの小型化

腕姿勢の認識と特徴量の補正

再学習なしでの複数ユーザの動作認識

信号増幅部・解析部の小型化・無線化・省電力化

スマートウォッチ上のアプリケーションの実装

今後の課題 （ ：優先度高）

歩行/走行中の認識