赤外線・RGB顔画像から非接触 心拍と呼吸計測 - JST1 赤外線・RGB顔画像から非接触 心拍と呼吸計測 電気通信大学 大学院情報理工学研究科

1

赤外線・RGB顔画像から非接触心拍と呼吸計測

電気通信大学 大学院情報理工学研究科機械知能システム学専攻

助教 孫 光鎬

2

Microwave radar

Cardiovascular Health Informatics: Wearable Medical Device and Flexible Biosensor for m-Health, IEEE Life Sciences Newsletter, 2014

Non-contact, without attaching electrodes, long-term monitoring

最近の非接触生体計測技術

3

本研究室の研究プロジェクト

4

サーモグラフィによるバイタルサイン計測---感染症スクリーニングへの応用---

5

感染症の世界的な流行 --- パンデミック

6

従来のシステム

7

感染症スクリーニングにおけるバイタルサイン計測の重要性

8

バイタルサインを用いた感染症検出

T. Matsui, et al. A novel screening method for influenza patients using a newly developed non-contact screening system. Journal of Infection. 2010; 60(4):271-7.G. Sun, et al. A novel infection screening method using a neural network and k-means clustering algorithm which can be applied for screening of unknown or unexpected infectious diseases. Journal of Infection, 2012; 65(6):591-2.

9

画像処理によるバイタルサインを測定し、感染症検出へ応用

Pass

Potential Infection

判別

China

Vietnam

Japan

画像処理・判別ソフトウェア

< 概要 >• 各国の空港ですでに導入されたサーモグラフィを応用する• 画像処理を用いてバイタルサインを計測、感染症を判別する< 利点 >• 新たな機器の導入が不要• ソフトウェアの適用のみで本手法が利用可能 etc.

体温

心拍呼吸

10

デバイス：赤外線カメラとCOMSカメラ一体型

赤外線カメラ

CMOS カメラ

RGB Image

Thermal Image観測温度範囲 -40～500℃最小温度分解能 0.05℃測定波長 8～14μm

測定精度

測定距離 30cm～フレームレート(最大) 1/60秒可視カメラ 640×480 CMOSセンサ測定視野角 19.4°(H)×14.6°(V)機能 イメージミキシング

TVS-500EX 仕様

対象物温度100℃未満：±2℃100℃以上：±2%

11

計測原理

呼気

吸気少

多

Poh MZ, McDuff DJ, Picard RW. Advanced in Noncontact, Multiparameter Physiological Measurements Using Webcam, IEEE Transactions on Biomedical Engineering, (2011)

光(緑色)の吸収量

心拍-RGB画像呼吸・体温-熱画像

12

処理の流れ

Sun G: Remote sensing of multiple vital signs using a CMOS camera-equipped infrared thermography system and its clinical application inrapidly screening patients with suspected infectious diseases. International Journal of Infectious Diseases , (2017)

13

実験室で計測精度の評価

呼吸 心拍

リファレンス

赤外線CMOSカメラ

Time (sec)

The respiratory rate signal obtained from CMOS-IR camera

The respiratory rate signal obtained from effort belt

Vol

tage

(V)

Time (sec)

Vol

tage

(V)

Time (sec)

Time (sec)

The heartbeat signal obtained from CMOS-IR camera

The heartbeat signal obtained from ECG

Vol

tage

(V)

Vol

tage

(V)

• 対象者： 10人 ( 23±1 歳)• 姿 勢： 座位• 距 離（カメラ-被験者）： 50cm• 室 温：25℃

14

リファレンスとの相関リファレンスとの相関

Y Nakayama, G Sun, Non-contact measurement of respiratory and heart rates using a CMOS camera-equipped infrared camera for promptinfection screening at airport quarantine stations. IEEE International Conference on Computational Intelligence and Virtual Environments forMeasurement Systems and Applications (CIVEMSA), (2015)

15

クリニックでインフルエンザ検出精度評価

< 有症者群 >• 16人• A型インフルエンザ（7人）• インフルエンザ様疾患（9人）• 11 - 67 歳

< 健康群 >• 22人• 疾患なし• 28 - 64 歳

• 高坂クリニック、福島 (2016年1月22日 – 2月25日)• 距離（カメラ-対象者）：50cm• 照度：150lx• 室 温：25℃

赤外線・CMOS カメラ画像処理ソフトウェア (PC)

16

クリニックでインフルエンザ検出精度評価

17

実用化に向けた課題

複数対象者の同時計測2

顔領域の自動検出1

18

本技術に関する知的財産権・学術文献

Sun G: Remote sensing of multiple vital signs using a CMOS camera-equipped infrared thermography system and its clinical application inrapidly screening patients with suspected infectious diseases. International Journal of Infectious Diseases, (2017)Sun G: An infectious disease/fever screening radar system which stratifies higher-risk patients within ten seconds using a neural networkand the fuzzy grouping method. Journal of Infection, (2015)

19

お問い合わせ先（必須）

電気通信大学

産学官連携センター 今田 智勝

ＴＥＬ ０４２－４４３－５８７１

ＦＡＸ ０４２－４４３－５７２６

e-mail [email protected]