ACE KG 発表 ベイジアンネットワーク ～ spam フィルタを作ってみよう～

ACE KG発表ベイジアンネットワーク～ spamフィルタを作ってみよう～

発表者 ide ， ryo

spamメール 元ネタ

味付き豚肉の缶詰 Homel Foods 社

イギリスのコメディ 同じ言葉を連呼 妨害行為 しつこい＝ SPAM

発表の流れ コンピュータが扱う複雑な問題

問題のモデリング SPAMフィルタリング

ベイジアンネットワーク ベイジアンについての基礎知識

確率の話，ベイズの定理 実習

ベイジアンネットワークを構築してみよう まとめ

コンピュータが扱う複雑な問題 実世界の現象など

経済システム，社会システム，自然科学 全体の構造が把握できない

様々な要素が絡み合って結果が出る 不確定な要素が多いが，ある程度規則性がある

部分的なデータからある程度は予測可能

厳密なモデルと柔軟なモデル 厳密なモデル

確定的な表現 rule base（ if thenや述語論理），決定木

柔軟なモデル 曖昧さを許す表現

確率，マルコフモデル，ベイジアンネットワーク複雑な問題を扱うのに適している

ベイジアンネットワーク 以前に使われてきた多くのモデルを包含し，表現力が高い

決定木，マルコフモデル ベイジアンの適用分野

ヒューマンモデリング カイル君

トラブルシューティング spamメールのフィルタリング

従来の spamフィルタリング 『 spam ／ spam ではない』を定義する規

則 spam 送信業者アドレスブラックリスト タイトルでのフィルタリング

送信側と受信側のいたちごっこ 許可したアドレス以外のメールは受け取らな

い PC アドレスから携帯に宛てたメールは届かない 厳しすぎる制約

最近の spamフィルタリング ベイジアンフィルタを使ったフィルタリン

グ 使用されている単語や単語列から spam である

確率を算出 学習機能付き ベイジアンフィルタを使っているソフトウェア

たち SpamBayes ， POPFile ， bayespam ， Mozilla Spam Filtering ，

BOGOFILTER ， BkASPil ， bsfilter ， ifile ， PASP ， spamoracle ， Spam Assassin ， Annoyance Filter ， Bspam

ベイジアンネットワークの動作概要 確率についての簡単な説明

独立と従属 ベイズの定理

ベイジアンネットワークの説明 モデルの作成

確率の独立と従属 独立

２つ以上の事象の確率が互いの結果によって変化しない ２つのさいころ A,Bを振ったときに， Aは６が出る確率， Bは２以下が出る確率

確率の独立と従属 従属

２つ以上の事象の確率が互いの結果によって変化する １０本中３本の当たりくじがある宝くじを，Ａ君Ｂ君が順番に引く確率

ベイズの定理 従属の関係にある事象で，一方が判明したときに，他方の確率を求められる

advertisementという単語が含まれると判明したときに，そのメールが spamである確率

ベイズの定理

モデルの作成

まとめ ベイジアンネットワークで柔軟なモデルを作ってみました

複雑な問題を単純化 実世界の情報を扱うために利用

コンテキストアウェア 環境モデリング ユーザモデリング