Chap12 4 appendix_suhara

PRML#17 (最終回) 12.4補習: 独立成分分析

2010-09-11

YOSHIHIKO SUHARA

id:sleepy_yoshi

@sleepy_yoshi

おことわり

1

• これからの話は全て↓に書かれています

ポイントだけ

• 独立成分分析とは?

• 必要なのは独立性。

• ガウス分布、ダメ、ゼッタイ。

• 目的関数いろいろ、解き方もいろいろ。

2

3

独立成分分析とは?

PRML的な流れ

• 線形ガウスモデル

– 主成分分析

• 線形非ガウスモデル

– 独立成分分析

• 非線形ICAもあるらしいが…

4

非ガウス分布を用いた潜在変数の線形変換に

よって観測変数が得られるというモデル

問題設定: 未知音源分離

5

M台のマイク 𝒙 (観測変数)

N人の話者 𝒔 (潜在変数)

※簡単のため〃M=Nの例を用いる

未知音源分離の定式化

• 観測変数は潜在変数の線形変換で表現

6

𝒙 = 𝑨𝒔

𝑥1 = 𝑎11𝑠1 + 𝑎12𝑠2 + 𝑎13𝑠3

𝑥2 = 𝑎21𝑠1 + 𝑎22𝑠2 + 𝑎23𝑠3

𝑥3 = 𝑎31𝑠1 + 𝑎32𝑠2 + 𝑎33𝑠3

s1, s2, s3が統計的に独立であれば〃

A, s共に計算することが可能

結論

必要なのは独立性。

7

𝑝 𝑦1, 𝑦2, … , 𝑦𝑛 = 𝑝1 𝑦1 𝑝2 𝑦2 …𝑝𝑛 (𝑦𝑛)

• 独立性

• 無相関性 ≠ 独立性

𝑝 𝒛 = 𝑝(𝑧𝑗)

𝑀

𝑗=1

(12.89)

ガウス分布、ダメ、ゼッタイ。

• 潜在変数sにガウス分布は利用できない

• 理由: ガウス分布は混合してしまうと分離できないから

– 厳密には、ひとつのガウス分布まではOK

8 -2 0 2

-4-2

02

4

ガウス分布、ダメ、ゼッタイ。

• 確率的主成分分析では…

– 潜在変数空間の分布が平均0の等方的ガウス分布

– 潜在変数の空間を変化させても尤度関数の形は変わらない

9

𝑹𝑹𝑻 = 𝑰という𝑹を用いて𝑾 →𝑾𝑹と変換

𝑪 = 𝑾𝑹𝑹𝑻𝑾𝑇 + 𝜎2𝑰

(12.36) 𝑪 = 𝑾𝑾𝑇 + 𝜎2𝑰

𝑰

目的関数いろいろ、解き方もいろいろ。

• 目的関数

– 尤度最大化

– 情報量最大化

– 相互情報量最小化

– …

• 解き方

– 勾配法

– EMアルゴリズム

– …

10

尤度最大化の例

• 線形変換の式を利用して

11

𝑝𝑦 𝒚 =1

det𝑨𝑝𝑥(𝑨−1𝒚)

𝑝𝑥 𝒙 = det𝑩 𝑝𝑠 𝒔 = det𝑩 𝑝𝑠(𝑠𝑖)

𝑖

線形変換の式

ここで 𝑩 = 𝑨−1

𝐿(𝑩) = det𝑩 𝑝𝑖(𝒃𝑖𝑇𝒙(𝑡))

𝑖𝑡

𝒙の𝑇個の観測値 𝒙 1 , 𝒙 2 ,… , 𝒙(𝑇)があるとすると〃尤度は

T個の点で評価でき〃Bの関数とみなせる

𝑩𝒙 = 𝒔

𝒙 = 𝑨𝒔 𝑝𝑥 𝒙 = det𝑩 𝑝𝑖(𝒃𝑖𝑇𝒙)

𝑖

あとは尤度を取って勾配法で最適化

参考文献

12

• ウェブ上にも参考資料は多い

• 一冊挙げるとすればコレ

おわり

13