Stable multi scale kernel for topological machine learning

1

A Stable Multi-Scale Kernel for Topological Machine Learning

Jan Reininghaus, Stefan Huber,Ulrich Bauer, Roland Kwitt

CVPR2015

第 30 回コンピュータビジョン勉強会＠関東CVPR2015 読み会

2015/7/20@xiangze750

2

自己紹介

● ブログ

– CVPR 論文の topic model による分類● http://xiangze.hatenablog.com/entry/2015/07/08/232921

– Persistent Homology と R の phom package, その他 library の紹介

● http://xiangze.hatenablog.com/entry/2014/03/29/042627

https://dl.dropboxusercontent.com/u/27452774/CVPRpapers2015_10.html

3

目次

● Contribution of this paper● 位相的データ解析とは

– 関連研究

● Persistence Homology– Persistence diagarm

● 距離と安定性

● Kernel– persistence scale-space kernel

● 関連研究比較 Persistent landscape– 距離の比較

● 評価 (SVM, 実データ ) ● Persistence Homology の実装

● Reference

4

Contribution of this paper

● Persistence diagram 間に kernel を定義し、その安定性を示した。

● 既存の Persistence diagram 間に比べて SVM での識別性能が向上したことを 2 種類の datasetに対して示した。

●

●

●

5

位相的データ解析とは

● Dataset の持つ位相的性質を分類や識別に利用する研究

● 位相的性質– 回転、平行移動などの全体的な動き、ノイズなどの

微小な変化では変わらない量

6

位相的データ解析とは

● 多次元のデータの場合はどのようにして”同じ”を定義するのか。

同じ

同じ

違う

同じ

同じ

同じ

7

位相的データ解析とは

● 形式的な定義 (1)– 図形の骨組み ( 単体的複体 )– グラフとしての性質

● betti 数 ( 位相不変量 )– 面の数 - 辺の数 - 頂点の数– 多次元の場合は交代和

同じ

違う

8

位相的データ解析とは

● 形式的な定義 (2)– 関数の等高線を考える

– 水位をあげていったときに島と島がくっついたり離れたりする点を結ぶ

– Morse 理論

9

関連研究

● 免疫細胞の分類 (SPADE)

– http://www.ncbi.nlm.nih.gov/pubmed/21551058

– http://www.c2b2.columbia.edu/danapeerlab/html/pub/sciencemay11.pdf

● 乳がん細胞の分類

● http://www.pnas.org/content/108/17/7265.long

● アルツハイマー病の診断– http://www.stat.wisc.edu/~mchung/papers/pachauri.2011.TMI.pdf

– http://www.ncbi.nlm.nih.gov/pubmed/19694279

● 自然言語処理– http://pages.cs.wisc.edu/~jerryzhu/pub/homology.pdf

分類の指針とされることが多かった。

10

関連研究

● SPADE(spanning-tree progression analysis of

density-normalized events)

11

Persistence Homology

● データ点間の距離が一定値以下の場合には線で結ぶ

● 距離 ( 解像度 ) を変えていく (Filtration)

Barcodes: The Persistent Topology of Datahttps://dreamtolearn.com/ryan/data_analytics_viz/46

12

Persistence Homology

● Barcode– 穴が出来る (birth) 、消える (death) 解像度の箇所を

結んだもの

● Persistance pers(x)=death(x)-birth(x)

pers(x)

x

13

Persistence Diagram

● 解像度、等高線を変えていったときに位相的変化が始まった点 (birth) 、消えた点 (death) を x,y座標にプロットしたもの

Stability of Persistence Diagramsftp://ftp-sop.inria.fr/prisme/dcohen/Papers/Stability.pdf

2 つの関数と Persistence Diagram実 1 次元関数の Persistence Diagram

14

関数間の距離と安定性

● SVM などで使える kernel であるには安定である必要がある。

● 安定性 ( 関数の Lipschitz 連続性 )– 距離 dX,dY に対してある K>=0 があって

– 本論文では対象 ( ここでは diagram) 間の距離が別の距離より小さいという性質を使っている。

15

関数間の距離と安定性

● 安定性

– 距離の安定性は bottleneck distance に大きく依存する。

– (diagram F,G 間の )bottleneck distance

– Wasserstein distances (Earth mover's distance) ● ヒストグラム間の距離として用いられることがある。

μ は F->G の写像

16

距離の安定性

● 定理 1– 2 つの区分線形な関数 f,g の persistent diagram 間の

距離は p-Wasserstein distance で抑えられる。

証明はftp://ftp-sop.inria.fr/prisme/dcohen/Papers/lpstab.pdf

γ は Df->Dg の写像

17

Kernel の導入

● 距離と kernel の関係

– kernel に対応する距離の安定性を示す。

18

persistence scale-space kernel

● 初期値を δ 関数とした Diagram 上の熱拡散方程式の解

● 時刻 σ ごとに kernel が定義可能

● 高速ガウシアン変換 ( 周波数空間でかける ) で高速に計算可能

山 ( 谷 ) が y に相当

19

persistence scale-space kernel

● 定理 2– Kernel kσ は 1-Wasserstein stable

20

persistence scale-space kernel

● 証明

として

Minkovsky 不等式

Φ の定義

e^-x>=1-x

N の定義

21

persistence scale-space kernel

● 定理 3– 任意の可算的な persistent diagram の kernel は 1 以

上の Wesserstein 距離に対して安定でない。

● 証明

– Diagram F の集合和 U_i^n F に対して

– 一方

22

既存研究 : persistence landscape 　

● Persistent diagram を複数の関数に変換する

● (birth-death) を頂点とする直角三角形の集合に順序を定義する。

● 関数の空間内で距離を定義可能

Statistical topological data analysis using persistence landscapes

http://arxiv.org/abs/1207.6437

23

既存研究 : persistence landscape

● Persistence( 高さ ) の少ない点は landscape の面積も少ない→距離への寄与が小さい。

24

persistence landscape における距離

● 定理 4– persistence landscape の kernel L の特性写像 ΦL に

対して

STATISTICAL TOPOLOGICAL DATA ANALYSIS USING PERSISTENCE LANDSCAPES の Corollary A.4. (page 23)

persistence が大きい点ほど距離への寄与が大きくなる。

25

2 つの距離の比較

● F,F' は同じクラスであるべき

● 対角線に近いところ (low persistance) のみ異なる。

● Persistance landscape だとここの部分の寄与が小さく識別性能が低い。

26

実験

2 つのデータセット

● SHREC2014– 色々な人のポーズのデータセット

– 40 human, 10 different poses()– 姿勢にかかわらず人物を推定できるか

● Outex TC 00000 texture のデータセット

– 32x32 pixels

27

特徴量 (ポーズ )

● heat kernel signature (HKS)

曲がった空間 (物体 ) 上での熱拡散方程式

の解となるような φ を特性関数とする kernel

を使って

A Concise and Provably Informative Multi-Scale Signature Based on Heat Diffusionhttp://www.lix.polytechnique.fr/~maks/papers/hks.pdf

28

特徴量 (texture)

● CLBP(Completed Modeling of Local Binary Pattern Operator)– CLBP_S

– CLBP_M

– CLBP_C

http://www.slideshare.net/kylinfish/a-completed-modeling-of-local-binary-pattern-operator-27858585

29

結果

● SHREC2014– 合成データと実際のデータ

30

結果

● Texture(Outex_TC_00000)

他の研究は？

31

類似研究

● Persistence-based Structural Recognition(CVPR2014)– 3D shape retrieval, hand gesture recognition,

texture classification に適用

– Persistence landscape, Wasserstein distance を組み合わせたものを距離として最近傍探索で検索、識別

32

類似研究

● Persistence-based Structural Recognition

PD(persistence diagram) 単体では性能が低い

descriptorの種類

33

Persistence Homology の実装

● javaplex Jave, Matlab● phom R● Dionysus c++,Pythonバインディング

● PLEX Matlab● PHAT c++● Perseus c++, discrete Morse theory に基づ

く

● Chom c++http://xiangze.hatenablog.com/entry/2014/03/29/042627

34

Persistence Homology の実装

● 計算量が課題

– 単体的複体 n に対して O(n^3)● 高速化の例

– Clear and Compress: Computing Persistent Homology in Chunks http://arxiv.org/pdf/1303.0477v1.pdf

35

References

● 元論文– http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Reininghaus_A_Stable_Multi-Scale_2015_CVPR_paper.pdf

– http://arxiv.org/pdf/1412.6821.pdf

● STATISTICAL TOPOLOGICAL DATA ANALYSIS USING PERSISTENCE LANDSCAPES– http://arxiv.org/pdf/1207.6437v4.pdf

● Stability of Persistence Diagrams– ftp://ftp-sop.inria.fr/prisme/dcohen/Papers/Stability.pdf

● Persistence-based Structural Recognition– http://www.lix.polytechnique.fr/~maks/papers/li-CVPR-14.pdf

● A Concise and Provably Informative Multi-Scale Signature Based on Heat Diffusion (Heat Kernel signature 論文 )– http://www.lix.polytechnique.fr/~maks/papers/hks.pdf

36

References

● Topological Data Analysis and Machine Learning Theory– https://www.birs.ca/workshops/2012/12w5081/report12w5081.pdf

● 代数幾何の立場から

– http://pantodon.shinshu-u.ac.jp/topology/literature/persistent_homology.html

● Persistent Homology と R の phom package, その他 library の紹介

– http://xiangze.hatenablog.com/entry/2014/03/29/042627

● Non-Euclidean Manifold 上での近似最近傍探索( 論文紹介 )– http://xiangze.hatenablog.com/entry/20121213/p1