Durağan olmayan ve Gauss olmayan veya Seyrek Sinyallerin Bayesçi Ayrışımı Ayşın Baytan Ertüzün Boğaziçi Üniversitesi Sinyal ve İmge İşleme Laboratuvarı (BUSIM) Elektrik-Elektronik Mühendisliği Bölümü Boğaziçi Üniversitesi [email protected]http://www.busim.ee.boun.edu.tr/~ertuzun/
79
Embed
Dura ğan olmayan ve Gauss olmayan veya Seyrek Sinyallerin ...busim.ee.boun.edu.tr/~ertuzun/seminars/AkademikKamp.pdfDura ğan olmayan kanlalar ve sinyaller-gezgin ileti şim Sinyaller
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Durağan olmayan ve Gauss olmayan veya
Seyrek Sinyallerin Bayesçi Ayrışımı
Ayşın Baytan Ertüzün
Boğaziçi Üniversitesi Sinyal ve İmge İşleme Laboratuvarı (BUSIM)
Teşekkür Katkıda bulunanlar ve akademik işbirliği yapılanlar
Eski öğrenciler Dr. Deniz Gencağa Sinan Yıldırım
Meslektaşlar Dr. Mustafa Aktar Dr. A. Taylan Cemgil Dr. A. Taylan Cemgil Dr. Onur Dikmen Dr. Levent Kurnaz Dr. E. Ercan Kuruoğlu Yaman Özakın
Destekleyenler TÜBİTAK – CNR proje numaraları 102E027 ve 104E101 TÜBİTAK proje numarası 107E050 Boğaziçi Üniversitesi Bilimsel Araştırma Projeleri proje numarası BAP-
04A201
Çerçeve
Amaç
Bayes Teoremi
Bayesçi Kestirim- Temel Bilgiler
Kaynak Ayrıştırma Problemi: Bayesçi Yaklaşım Kaynak Ayrıştırma Problemi: Bayesçi Yaklaşım
Durağan olmayan, Gauss olmayan Sinyal Modelleme Iki aşamalı Gibbs örneklemeli yöntem
Tüm parçacık süzgeç yöntemi
Seyrek Süreçler için (Gözü Kapalı) Ters Evrişim Ters Gamma Model Temelli Yöntem
Görüşler ve Vargılar
Amaç Kaynak ayrıştırma problemine Bayesçi bir bakış açısı
Sinyal Modelleme Ters evrişim
Özel süreçlerin ele alınması Durağan olmayan ve Gauss olmayan
Zaman yapısı özbağlanımlı (ÖB) olarak modellenecektir. Durağan olmama durumu zamanda değişen ÖB olarak modellenecektir. Durağan olmama durumu zamanda değişen ÖB olarak modellenecektir. Gauss olmama durumu alfa-kararlı dağılımlar olarak modellenecektir.
Seyreklik Seyreklik ters-gamma olarak modellenecektir.
Yakın zamandaki Bayes teoremi uygulamalı araştırmalardan bahsetmek Bu tip süreçler
Teleiletişim Astrofizik Biyomedikal sinyal işleme ve Biyotıp Jeofizik Finansal zaman serisi analizi Meteoroloji ve Denizbilimi(Oşınografi ) Ses ve Duyulabilir sinyal işleme İmge işleme Bilgisayarla görme
Temel Bilgiler
Bayes teoreminin temellerini öğrenmek
Bayes teoreminin potansiyellerini görmek
Bayes teoreminin nasıl uygulanacağından bahsetmek Deterministik çıkarım Deterministik çıkarım
Veri hakkındaki önsel bilgi veya inançlar problem formulizasyonuna katılabilir. Klasik teknikler, varsa, önsel bilgiyi gözardı eder.
Birçok gerçek hayat probleminde devasa miktarlardaki veri işlenmek durumundadır. Seçici olunmalı ve doğru bölgede çözümler aranmalıdır.
Değişen veriden öğrenmek gereklidir.
Olasılığın yorumlanması
Sıklıkçı (Frequentist )bakış açısı: Olasılık göreceli sıklıklardır. Klasik yaklaşım : Nesnel/Deneysel – Para atma deneyi → dışarıdan gözlem
Parametreler bilinmeyen deterministik sabitler
Kestirim için rasgele toplanan veri modele oturtulur ve sabit katsayılar bulunur.
Bayesçi bakış açısı: Olasılık, bilginiz dahilinde(delil) inancınızın derecesidir.derecesidir. Öznel/delile dayanan
Para atma deneyi
Parametreler bilinmeyen rasgele değişkenler
Kestirim sadece örneklenen veriden yapıldığı için kesin değer bilinmemekle birlikte veri kullanılarak elde edilen kestirim veri elimizde yokken kestirilenden daha fazla bilgi verir.
Amaç: Parametrelerin veri gözlemlendikten sonra sonsal dağılımlarını, Amaç: Parametrelerin veri gözlemlendikten sonra sonsal dağılımlarını, p(x /y)’yı hesaplamak
Araç: Olabilirlik fonksiyonunu p(y/x) kullanılarak parametrelerin önsel dağılımlarını yani p(x)’i tekrar şekillendirmek
sonsal = (olabilirlik× önsel)/delil
p(x |y) = (1/p(y)) p(y|x) p(x)
Delil x’e bağımlı olmadığı için gözardı edilebilir.
Sonsal dağılım hesaplandıktan sonra x ile ilgili herhangi bir kestirim yapılabilir. (MSE, ML,MAP)
Bayes Teorem
Bayesçi çıkarım şu şekilde özetlenebilir: İnançlarınızı yasıtan önsel bir dağılım seçilir
Olabilirlik fonsiyonu hesaplanır. Olabilirlik fonksiyonu gözlemlenen verinin ne kadar iyi Olabilirlik fonksiyonu gözlemlenen verinin ne kadar iyi
öngörüldüğünü söyler.
Olabilirlik fonksiyonu önselin veri ile şekillendirilmesini sağlar.
Sonsal dağılım hesaplanır.
İstenilen istatistikler hesaplanır.
Önsel Seçimi-I
Önsel dağılım, veriye ulaşmadan önce parametre hakkındaki en iyi bilgiyi vermelidir.
Önsel bilgi var ise bu mutlaka kullanılmalıdır.
Önsel bilgi olmadığı zaman bilgi vermeyen (ignorance Önsel bilgi olmadığı zaman bilgi vermeyen (ignorance veya noninformative) önseller kulanılır: Grup değişmezliği (Jeffry önseli veya düz önsel)
En büyük entropi (düzgün dağılım)
Fisher bilgi matrisi temelli önseller
Eşlenik önseller ek veri olarak yorumlanabilir
hesaplama uygunluğu
Önsel Seçimi-II
Bilgi vermeyen önseller kullanıldığında sıklıkçı analiz ise elde edilen sonuçlara Bayesçi bir yaklaşımla ulaşılır.
Bilgi vermeyen önseller kullanarak elde edilen Bilgi vermeyen önseller kullanarak elde edilen sonuçlar sıklıkçı analizle elde edilenlerden daha kötü değildir.
Sonsal Dağılımı Hesaplama Yöntemleri
Doğrudan Hesaplama (olası ise)
Değişimsel Bayes
Sayısal Yöntemler (Örnekleme Teknikleri)
Parçacık Süzgeçleme
Değişimsel Bayes
Amacı: Karmaşık olasılık yoğunluk fonksiyonlarını basit dağılımlar ile yaklaşıklamak
Bayesçi çözümlerde sonsal dağılım (P) basit dağılımlar (Q) ile yaklaşıklandırılır. (Q) ile yaklaşıklandırılır.
Q = q(s1)q(s2) P
Bu basit dağılımın parametreleri değiştirilerek dağılım eniyilenir ve istenilen dağılıma yaklaşıklaşır.
Yaklaşıklığın ölçütü olarak Kullbeck-Leibler ölçütü kullanılır.
≅
Sayısal Örnekleme Teknikleri-I
Sonsal dağılımı en büyükleme ve basit bir modele oturtma yöntemi her zaman çalışmaz.
Bu durumda Monte Carlo teknikleri kullanılır. Monte Carlo teknikleri rassal değişkenleri kullanan Monte Carlo teknikleri rassal değişkenleri kullanan
hesapsal yöntemlerdir.
Verilen bir olasılık yoğunluk fonksiyonundan örnekler üretirler.
Verilen bir olasılık yoğunluk fonksiyonuna bağlı beklenti değerlerini kestirirler.
Sayısal Örnekleme Teknikleri-II
Çeşitli örnekleme teknikleri vardır: Bağımsız örnekler
Bağımlı örnekler (Markov Zinciri Monte Carlo (MZMC)) Metropolis-Hastings örnekleme
Metropolis örnekleme
Gibbs örneklemesi
Fig.:Kanyonları olan göl kesiti (MacKay, 2007, s. 360)
Önem Örneklemesi
Olasılık yoğunluk fonksiyonundan örnekler üretmek yerine beklenti değerlerinin hesaplanmasını sağlayan bir yöntemdir.
İstenilen olasılık yoğunluk fonksiyonundan ( ) örnekler çekmek yerine önem fonksiyonu olarak bilinen , örneklemesi daha kolay basit bir fonksiyon ( ) üzerinden beklenti değerini hesaplamaya indirgenir. indirgenir.
Buradaki önem katsayıları:
MZMC Örnekleme Yöntemleri
Metropolis ve Metropolis Hastings Örneklemeleri Markov zinciri oluşturulur.
Zincirin örnekleri istenilen olasılık yoğunlukla asimptotik olarak aynı dağılıma sahiptir.
Metropolis veya Metropolis Hasting örnekleme yöntemlerinde Markov zinciri eski durumlardan yeni durumların önerilmesinde kullanılır.durumlardan yeni durumların önerilmesinde kullanılır.
Metropolis yöntemi Metropolis Hasting’in özel bir durumudur- örneklerin çekildiği önem fonkisyonu simetriktir.
Gibbs Örneklemesi Çok boyutlu dağılımlardan örnek çekmek yerine tek boyutlu koşullu olasılıklarından
sırayla örnekler çekilir.
Koşullu olasılık yoğunlukların önem fonksiyonu olarak görüleceği Metropolis Hastings örnekleme yöntemi olarak da yorumlanabilir.
Parçacık Süzgeçleri (Ardışıl Monte Carlo)-I
Olasılık yoğunluk fonksiyonunu parçacıklar (seçilen örnekler) cinsinden ifade ederler.
Bu şekilde ifade edilmiş olasılık yoğunluk fonksiyonunu kullanarak ardışık Monte Carlo fonksiyonunu kullanarak ardışık Monte Carlo kestirimi yaparlar.
Önem örneklemesini ardışık olarak yaparlar.
Parçacık Süzgeçleri (Ardışık Monte Carlo)-II
Neden bunu ihtiyacımız var? Gözlemlenen verinin sırası önemlidir.
Özellikle durağan olmayan durumlarda kestirilmeye çalışan parametre zamanla değişir.çalışan parametre zamanla değişir.
Olasılık yoğunluk fonkisyonu ve beklenti değerleri veri örnekleri geldikçe güncellenmelidir.
Sistemi nasıl modelleriz? Dinamik bir sistem olarak
Durum-uzay denklemleri kullanarak
Parçacık Süzgeçleri (Ardışık Monte Carlo)-III
Durum uzay denklemleri Süreç (model) denklemi
Çıkış(gözlem) denklemi
BuradaBurada
: Gizli durumlar → gizli parametreler
: Gözlem
: Süreç(model) gürültüsü (herhangi bir varsayım yok)
: Gözlem gürültüsü (herhangi bir varsayım yok)
: Durum fonksiyonu (herhangi bir varsayım yok)
: Gözlem fonksiyonu (herhangi bir varsayım yok)
Parçacık Süzgeçleri (Ardışık Monte Carlo)-IV
Amaç: Durum değişkenlerinin, sonsal dağılımını gözlemlenen
veri altında ardışık olarak kestirmek
Yöntem: Öngörü: Şimdiki zamandaki durum değişkeninin önceki Öngörü: Şimdiki zamandaki durum değişkeninin önceki
gözlemlerden öngörülmesi
Güncelleme: t anında, sonsal, gözlemi ile Bayes formulü kullanılarak güncellenmesi
p(xt|y1:t-1) = p(xt|xt-1) p(xt-1|y1:t-1) dxt-1∫
DG Ortamlarda Durum Uzay Denklemleri ve Bayesçi Yaklaşımla Kalman Süzgeci
Durum denklemleri
ve Gauss gürültü + ortam doğrusal →
p(xt|xt-1) ve p(yt|xt)→ Gauss Öngörü: Şimdiki zamandaki durum değişkeninin önceki gözlemlerden Öngörü: Şimdiki zamandaki durum değişkeninin önceki gözlemlerden
öngörülmesi
p(xt|y1:t-1) = ∫ p(xt|xt-1) p(xt-1|y1:t-1) dxt-1 → Gauss Güncelleme: t anında, sonsal, gözlemi ile Bayes formulü
kullanılarak güncellenir.
→ Gauss
Parçacık Süzgeçleri (Ardışık Monte Carlo)-V
Önem örneklemesi ardışık hale getirilmeli – ardışık önem örneklemesi
Sonsal dağılım, düzgelenmiş önem katsayıları ile ağırlıklandırılmış N ayrık parçacık ile modellenir:
Parçacık Süzgeçleri (Ardışık Monte Carlo)-VI
Problem önem katsayılarının güncellenmesine indirgenir:
Parçacık Süzgeçleri(Ardışık Monte Carlo)-VII
Önem fonksiyonu nasıl seçilir? Önem fonksiyonu nasıl seçilir? En iyi önem fonksiyonu_ belirli kısıtlar altında (Duecet ve çalışma
arkadaşları, 2000)
Bootstrap süzgeci
q(xt|xt-1 , y1:t) = p(yt|xt )(i)(i) wt ∝ p(x(i)
t|xt-1) wt-1(i)(i)∼ ∼
Bootstrap Parçacık Süzgeci - Örnek-I
ve Gauss gürültü ve
Geçiş olasılık yoğunluk dağılımı (Örnekler buradan çekilir)
Olabilirlik fonksiyonu (Katsayılar hesaplanır)
p(yt|xt) = N (yt ; ,1)x t
20
2
Parçacık Süzgeçleri - Kod1. için örnekler çekip tanımlayın
2. için önem katsayılarını güncelleyin
3. için katsayıları düzgeleyin
4. Tekrar örnekleyin
5. için
6. Sonsal dağılımı hesaplayın
Parçacık süzgecinin bir döngüsü (Van der Merwe et.al. 2000)
Bootstrap Parçacık Süzgeci - Örnek-II
Orijinal ve Kestirilmiş Durumlar
(yeniden örnekleme ile)
Orijinal ve Kestirilmiş Durumlar (yeniden örnekleme yok)
Durağan olmayan Süreçlerin Klasik olarak Modellenmesi
Kalman süzgeci ve çeşitleri (Kalman, 1960)
Sadece doğrusal ve Gauss dinamiğine sahip sistemler için en iyi
Gauss olmayan Süreç Modellemesi
En Büyük Olabilirlik Kesrimi Teknikleri (Van Trees, 1968)
Bayesçi Yaklaşımlar (Gelman et al.,1995; Tanner, 1996; Gilks ve çalışma arkadaşları 1998; Robert and Casella, 1999; MacKay, 2003)
Artan ihtiyaçları karşılayamazlar!
Uygulama Alanları Telsiz İletişim (Rappaport, 2001)
Durağan olmayan kanlalar ve sinyaller-gezgin iletişim Sinyaller genellikle Gauss değillerdir.
Bilgisayar İletişimi (Resnick, 1997; Bates and McLaughlin, 1997) Teletrafik veri modellemesi (durağan değil ve geniş kuyruklu dağılımlar)
Astrofizik Astrofizik Astrofizik kaynak ayrıştırması (Kuruoğlu et al., 2003; Bedini et al., 2005)
Biyotıp EEG ve fMRI veri modellemesi (Möller ve çalışma arkadaşları, 2001; Sato ve çalışma
arkadaşları, 2007)
Jeofizik veri modellemesi (Depremler) (Pierce, 1997)
Meteoroloji ve Denizbilim (Pierce, 1997)
Ses ve duyulabilir sinyal pekiştirilmesi (Andrieu and Godsill, 2000; Vermaak et al., 2002)
Durağan olmayan ve Gauss Olmayan Sinyal Modellemesi
Gauss olmayan Gürültü ile Sürülen Zamanla Değişen Özbağlanımlı Süreç (ZDÖB) Modellemesi
Eski gözlemlerin zayıflatılması (Djuric et al., 2001; Djuric et al., 2002) Durum değişkenlerinin zaman değişimleri hakkında önsel bir bilgi yoktur. Gauss olmayan dağılımların kapalı formda ifadeleri mevcuttur. Dağılım parametreleri bilinmektedir. Dağılım parametreleri bilinmektedir. Zorlayıcı bir problem: Parçacık süzgeci çerçevesinden incelemek için durum değişkenlerinin işlevsel formlarının
bilinmesi gerekli ama elimizde yok
Daha Zorlayıcı Problem
Analitik olarak ifade edilemeyen olasılık yoğunluk fonkisyonları (kapalı form ifadesi yok) Ayrıca dağılım parametreleri bilinmemektedir.
Önerilen Bayes Temelli Teknikler
Iki aşamalı Gibbs örneklemeli yaklaşım (Gençağa ve çalışma arkadaşları , 2008b) Parçacık süzgeci yaklaşımı (Gençağa çalışma arkadaşları 2008a)
Problem Tanımı
Dinamik Model Gözlem denklemi K. dereceden ZDÖB süreç
Gürültü alfa-kararlı süreç - analitik ifadesi yok
tt
K
k
Tttktkt nnytay +≡+=∑
=
−− ay1
1)(
n Gürültü alfa-kararlı süreç - analitik ifadesi yok
ÖB süreç parametreleri ( ) bilinmiyor ve zamanla değişiyor → kestir → parçacık süzgeci
Durum denklemi– mevcut değil→ rasgele yürüyüş modeli (yapay durum geçiş denklemi) oluşturulur.
ttt vaa += −1
tn
ta
Alfa-kararlı Dağılımlar Gauss dağılımların Gauss olmayan
dağılımlara doğrudan bir geneleştirmesidir.
Kararlılık ve Merkezi Sınır Kuramı gibi ortak özellikler taşırlar.
Alfa-kararlı rasgele değişkenler sırasıyla öz üssel, yayılım, simetri ve konum parametreleri olarak bilinen dört parametre (α, γ, β ve µ) ile ifade edilir.
Alfa-kararlı dağılımlar karakterisik denklemleri ile ifade edilirler.
[ ]),()(sign1exp)( αζωζβζγµζζϕα
jj +−=
Problem İfadesi
kestirilir. Burada
Süreç simetrik olduğu için β= 0 Genelliği kaybetmeden µ= 0
Amaç: τ Uzunluğundaki bir veri için sonsal )( :1:0 ττ yxp
[ ]TTTt
Tt θax ,= [ ]Tγα ,=θ
Amaç: τ Uzunluğundaki bir veri için sonsal dağılımı kestirmektir
başlangıç zamanı t=0 anından τ anına kadar oluşturulmuş parametre vektörü
gözlem tarihi
)( :1:0 ττ yxp
τ:0x
[ ]Tyyy ττ ,...,, 21:1 =y
.
İki Aşamalı Gibbs Örneklemeli Yöntemin Blok Şeması(Gençağa et.al. , 2008b)
• BUraya şekil gelecek
Yöntem (Gençağa et.al. , 2008b)-I
Aşağıdaki koşullu dağılımlardan döngüsel olarak örnekler çekilir.
m = 0 dürümü ile başlanır. → Parçacık Süzgeci ile
oluşturulur.
),(~ :1)()1(
τyθaa m
t
m
t p+
τ,...,1 ,)(ˆ )1( =−= + tytn mT ay oluşturulur.
→ Godsill ve Kuruoğlu (1999) tarafından değiştirilmiş MZMC ile
Değiştirilmiş MZMC R kere koşulur.
Dürüm tekrar başlar.
Iki aşamalı Gibbs örnekleyici M kere koşulur.
),(~ :1
)1()1(τyaθθ
++ m
t
m p
τ,...,1 ,)(ˆ )1(1 =−= +
− tytn m
t
T
tt ay
Yöntem (Gençağa et.al. , 2008b)-II Parçacık süzgeci için kullanılan koşullu olasılık yoğunluk
fonksiyonu
( )i
tt
N
i
i
t
m
t wp aayθa −≈∑ =δτ 1:1
)( ~),(
),(
)()( 1
1 ii
i
t
i
t
i
tti
t
i
tq
ppww
yaa
aaay −
−∝
Geçiş olasılık yoğunluğu örneklerin çekileceği önem fonksiyonu olarak kullanılır. → Bootstrap Parçacık Süzgeci
Geçiş olasılık yoğunluğu bilinmemektedir→ zorlayıcı Rassal yürüyüş yapısında yapay geçiş denklemi kullanılır. Rassal adımlar Gauss gürültüsü ile belirlenir.
),(~tvt Σ0v N
),( :11:0
1
t
i
t
i
t
ttq
wwyaa −
−∝
Yöntem (Gençağa et.al. , 2008b)-III
Durum denklemindeki rassal yürüyüş modeli eski gözlemleri zayıflatır. (Djuric et.al., 2002)
Parçacık süzgeci durum geçiş yoğunluğundan örnekler çeker
i = 1,… ,N.
)1/1(1
−=−
ξtt av ΣΣ
i = 1,… ,N.
Önem katsyıları olabilirlik fonksiyonu ile güncellenir.
Olabilirlik fonksiyonu analitik olarak ifade edilemez → numerik olarak karakteristik fonkisyonun ters Fourier dönüşümü alınarak hesaplanır.
),( )(1
mi
tt
i
t
i
t ypww θa−=
),(~ 1 tv
i
t
i
t Σaa −N
Yöntem (Gençağa et.al. , 2008b)-IV
Önem katsayıları güncellenir.
Katsayılar düzgelenir.
Yeniden örnekleme yapılır.
( )( ) ζζζγπ
αdyjw
i
t
T
tt
mi
t
m
ay−
−= ∫
∞
∞−exp(exp
2
1 )()()(
Yeniden örnekleme yapılır.
‘ler kestirilir.
Bu kestirimler sürücü gürültüyü üretmek için kullanılır. α ve γ parametrelerini kestirmek için değiştirilmiş MZMC
koşulur. γ parametresi değiştirilmiş MZMC algoriması ile (Godsill and
Kuruoğlu, 1999) kestirilir. α parametresi ise yukarıdaki MZMC yöntemine dahil edilen
Metropolis örnekleme yöntemi ile kestirilir.
)1( +m
ta
Deney 1:Önerilen yöntemin birinci dereceden ZDÖB süreç için başarımı Gürültü: simetrik alfa-kararlı süreç α = 1.5 ve γ = 1.5
değerleri ve empirik değişinti kestirimleri (Gençağa ve çalışma arkadaşları, 2008b)
)(1 ta )(1 ta
Deney 2: Önerilen yöntemin birinci dereceden ZDÖB süreç için başarımı Gürültü: simetrik alfa-kararlı süreç α = 1.5 and γ = 1.1
(a) ZDÖB süreç , (b1) m=1. döngü sonunda ZDÖB katsayıları kestirimi , (b2) m=4. döngü sonunda ZDÖB katsayıları kestirimi (c1) m=1. döngü sonunda α parametrelerinin kestirimi, (c2) m=4. döngü sonunda α
parametrelerinin kestirimi, (d1) m=1. döngü sonunda γ parametrelerinin kestirimi, γ at the end of iteration m=1, (d2) m=4. döngü sonunda γ parametrelerinin kestirimi (Gençağa ve çalışma arkadaşları, 2008b)
Yeni bir Zorlayıcı Görev
Zamanla değişen dağılım parametreleri
Parçacık süzgeci ile kestirim Zamanla değişen ÖB süreç parametreleri
Zamanla değişen dağılım parametreleri Zamanla değişen dağılım parametreleri
Kayık (Skewed) dağılımlar da gözönüne alınmıştır.
Yöntem (Gençağa et.al., 2008a)-II
Dinamik Model Gözlem denklemi K. dereceden ZDÖB süreç
Gürültü alfa-kararlı süreç - analitik ifadesi yok
tt
K
k
Tttktkt nnytay +≡+=∑
=−− ay
11)(
n Gürültü alfa-kararlı süreç - analitik ifadesi yok
(e) kestirimi, (f) kestirimi(Gençağa ve çalışma arkadaşları, 2008a) tα tβ
tµtγ
m’den daha büyük büyüklüğe (magnitude) sahip birikimsel artçı sarsıntı sayıları (Northridge depremi) (Gençağa ve çalışma arkadaşları, 2008a)
Deney 1: Iki aşamalı Gibbs örnekleyici ile tüm parçacık süzgeç yönteminin başarım karşılaştırmaları
a) ÖB katsayı vektörünün beklenti değeri; b) kestirimleri beklenti değeri;c) kestrimlerinin beklenti değeri (Gençağa ve çalışma arkadaşları, 2008a)
tα
tγ
Görüşler
Uygun durum değişkenlerinin ve önem fonksiyonunun seçilmesi durumda aşağıdaki süreçlerin modellenmesi mümkündür.
ZDÖB alfa-kararlı süreçlerin modellenmesi (Gencağa ve çalışma arkadaşları 2008a, Gençağa ve çalışma arkadaşları 2008b)
Çapraz ilintili ve durağan olmayan ve Gauss olmayan süreçlerin modellenmesi (Gençağa ve çalışma arkadaşları 2010)modellenmesi (Gençağa ve çalışma arkadaşları 2010)
Durağan olmayan ve çapraz ilintili ÖB karışımların modellenmesi (Gençağa 2007)
Tüm bu durumlarda durum değişkenlerinin zamanla değişimleri hakkında bilgimiz yoktur.
Bu oldukça zorlayıcı bir problemdir zira parçacık süzgeci yaklaşımlarında durum geçiş denklemlerinin fonksiyonel yapılarının bilinmesi gerekmektedir.
Seyrek Süreçlerin (Gözü Kapalı) Ters Evrişimi
Sismolojik sinyallerin (Gözü Kapalı) Ters Evrişimi Seyreklik beyazlıktan daha önemlidir. ( Larue ve
çalışma arkadaşları, 2005)çalışma arkadaşları, 2005)
Seyrek sinyaller için ters evrişi için kullanılan Gaussian-Bernoulli modeli iyi sonuç vermez.
Döngüsel ters evrişim yöntemlerinin sakıncaları
Problem İfadesi
A signal s sinyali DZD h dürtü yanıtına sahip bir sistemden geçer ve y çıktısı toplamsal Gauss gürültüsü v ile bozunur.
TtvhsysT
i
titit .....1 1
11 =+=∑
−
=+−
Ters Evrişim y ve s verildiğinde, h (ve ) bulmaktır y ve h verildiğinde, s (and ) bulmaktır.
Gözü Kapalı Ters Evrişim→ Daha zor bir problemdir y verildiğinde s ve h (and ) bulmaktır.
Öneri:Model temelli Bayesçi ters evrişim yöntemi (Yıldırım 2009 ve
Yıldırım ve çalışma arkadaşları 2010)
Deprem Verisi Deneyleri-I
Sismolojik gözlemler ve kaynak sinyalleri Boğaziçi Üniveristesi Kandilli Rasathanesi ve Deprem Araştırmaları Enstitüsü(BÜ-KRDAE) tarafından kaydedilmiştir.
Her veri kümesi farklı bir istasyondan alınmıştır ve 100 düşey ve ışınsal bileşen yani (s; y) çiftinden oluşur.ışınsal bileşen yani (s; y) çiftinden oluşur.
Geri yön açısı değerlerine göre kayıtlar sıralanır.
Kestirilen belli bir istasyona ait alıcı fonksiyonları, yukarıdan aşağıya doğru zaman gecikmesini sıfırlayacak şekilde sıralanır.
Bayesçi ters evrişim sonuçları döngüsel ters evrişim sonuçları (Özakın, 2008a, Özakın ve Aktar, 2009) ile karşılaştırıldı.
Deprem Verisi Deneyleri-II
y = s * r + v = s * (g * h) + v = (s * g) * h + v
r alıcı fonksiyonu
g Gauss süzgeci→ yüksek frekans bileşenleri frekans bileşenleri ayıklanır.
s kaynak dalgacığı → biliniyor → düşey bileşendeki kayıt
Süreçlerin özel nitelikleri önsel bilgi olarak modele dahil edilmiştir. Süreçlerin özel nitelikleri önsel bilgi olarak modele dahil edilmiştir.
Durağan olmayan ve Gauss olmayan süreçler için özgün ve bütünleştirici bir modelleme tekniği ele alınmıştır.
Kapalı forma sahip dağılımların ve bu dağılımların istatistiklerinin bilinmesi gerekliliği gevşetilmiştir.
Iki aşamalı Gibbs örnekleme yöntemi ile sabit dağılım parametrelierl ve zamanda değişen ÖB katsayıları kestirilmiştir.
Hem dağılım parametrelerinin hem de ÖB katsayılarının zamanla değiştiği durumalr içinse parçacık süzgeci temelli bir yöntem gösterilmiştir. Durum değişkenleri için herhangi önsel bir bilgi yoktur.
Vargılar-II
Seyrek sinyallerin ters evrişimi için özgün bir yöntem ele alınmıştır. Ters evrişim ve gözü kapalı ters evrişim çıkarım ve parametre
kestirimi olarak yorumlanabilir.
Seyreklik ters Gamma ile başarılı şekilde modellenmiştir. (Gauss- Seyreklik ters Gamma ile başarılı şekilde modellenmiştir. (Gauss-Bernoulli modeli başarılı şekilde gevşetilmiştir. )
Önerilen yöntem sismolojide alıcı fonksiyon analizine başarılı şekilde uygulanmıştır.
References-IAndrieu, C. and S. Godsill, 2000 , “A particle filter for model based audio source separation”, Proceedings of the International
Workshop on Independent Component Analysis and Signal Separation: ICA'2000, Helsinki, Finland.Candy, J. V., 2004, Bayesin Signal Processing Classical, Modern, and Particle Filtering Methods, Wiley and Sons Inc.Djuric P. M., J. H. Kotecha, F. Esteve, and E. Perret, 2002,“Sequential Parameter Estimation of Time-Varying Non-Gaussian
Autoregressive Processes”, EURASIP JASP vol. 2002, no. 8, pp. 865-875.Duecet, A., S. Godsill and C. Anderieu, 2000, “On Sequential Monte Carlo Sampling Methods for ayesian Filtering”, vo 10,
no. 3, pp.197-208, July.Bates, S. and S. McLaughlin, 1997, “Testing the Gaussian assumption for self-similar teletraffic model”, in Proc. IEEE Higher
Order Statistics Workshop, Bannf, pp. 444-447.Bedini L., D. Herranz, E. Salerno, C. Baccigalupi, E. E. Kuruoglu and A. Tonazzini, 2005, “Separation of Correlated
Astrophysical Sources Using Multiple-Lag Data Covariance Matrices”, EURASIP Journal on Applied Signal Astrophysical Sources Using Multiple-Lag Data Covariance Matrices”, EURASIP Journal on Applied Signal Processing, Vol. 15, pp. 2400-2412.
Gençağa, D., 2007, “Sequential Bayesian Modeling of Non-Stationary Non-Gaussian Processes”, (Ph.D. Thesis), Bogazici University, Turkey, Jan.
Gençağa, D., A. Ertüzün, E.E. Kuruoğlu, 2008a, “Modeling of Non-Stationary Autoregressive Alpha Stable Processes by Particle Filters”, Digital Signal Processing, vol. 18, no.3, pp. 465-478.
Gençağa, D., E. E. Kuruoğlu, A. Ertüzün and S. Yıldırım, 2008b, “Estimation of Time Varying AR SαS Processes using Gibbs Sampling, Signal Processing, vol 88, no.10, pp.2564, 2572.
Gençağa, D., E. E. Kuruoğlu, A. Ertüzün, 2010, “Modelling of Non-Gaussina Time Varying Vector Autoregressive Processes by Particle Filtering”, Multidimensional Systems and Signal Processing. vol 21, no.1, pp. 73-85.
Gelman, A. B., J. S. Carlin, H. S. Stern, and D. B. Rubin, 1995, Bayesian Data Analysis, Chapman & Hall/ CRC.Gilks, W.R., S. Richardson, and D.J. Spiegelhalter, (eds.), 1998, Markov Chain Monte Carlo in Practice, Chapman and Hall.Godsill, S. and E. E. Kuruoğlu, 1999, “Bayesian Inference for Time Series with Heavy-Tailed Symmetric α-Stable Noise
Processes,” Proc. Applications of Heavy Tailed Distributions in Economics, Engineering and Statistics, American University, Washington D.C., USA.
Kalman, R. E., 1960, “A new approach to linear filtering and prediction problems”,ASME J. Basic Eng., 82, pp. 34-45. [Also published as ASME Paper 59-IRD-11].
.
References-IIKuruoğlu, E. E., L. Bedini, M. T. Paratore, E. Salerno and A. Tonazzini, 2003, “Source separation in astrophysical maps using independent
factor analysis”, Neural Networks, 16,pp. 479-491.Langston, C. A., 1979, “Structure under Mount Rainier, Washington, inferred from tele-seismic body waves”, J. Geophys. Res., Vol. 84,
pp. 47494762.Larue, A., M.V: D. Bean, J.I. Mars and C. Jutten,2005, “Sparsity or Whiteness: What Criterion to Use for Blind Deconvolution of Seismic
Data?”, SEG Technical Program Expanded Abstracts, 1642-1645.Ligorra, J. P. and C. J. Ammon, 1999, “Iterative deconvolution and receiver-function estimation”, Bull. Seism. Soe. Am., Vol. 89, pp.
1395-1400, MacKay, D., 2003, Information Theory, Inference and Learning Algorithms, Cambridge University Press.Möller, E., B. Schack, M. Arnold and H. Witte, 2001, “Instantaneous multivariate EEG coherence analysis by means of adaptive high-
dimensional autoregressive models”, Journal of Neuroscience Methods, 105, pp. 143-158.dimensional autoregressive models”, Journal of Neuroscience Methods, 105, pp. 143-158.Nikias, C. L. and M. Shao, 1995, Signal Processing with Alpha-Stable Distributions and Applications, Prentice-Hall Özakın, Y., 2008, Crustal Structure of Southwestern Anatolia using p-receiver Function Analysis, (MS Thesis), Bogazici University,
Turkey. Özakın, Y. and M. Aktar, 2008, “The Moho Topography of Turkey Inferred from Receiver Functions”, ESC General Assembly, Crete-
Greece.Pierce, R. D., 1997, “Application of the positive alpha stable distribution,” Proc. IEEE Signal Processing Workshop on Higher-Order
Statistics, pp. 420-424.Phinney, R. A., 1964, “Structure of the Earth's Crust from Spectral Behavior of Long-Period Body Waves”, J. Geophys. Res., Vol. 69, No.
14, pp. 2997-3017.Rappaport, T., 2001, Wireless Communications: Principles and Practice, Prentice Hall.Resnick, S., 1997, “Heavy tail modeling and teletraffic data”, The Annals of Statistics, vol. 25, no. 5, pp. 1805-1869.Robert, C. and G. Casella, 1999, Monte Carlo Statistical Methods, Springer.Ristic, B., S. Arulampalam and N: Gordon, 2004, Beyaond the Kalman Filter Particel Filter for Tracking Applicaations, Artch House.Sato, J. R., P. A. Morettin, P. R. Arantes and E. Amaro Jr., 2007, “Wavelet Based Time-Varying Vector Autoregressive Modelling”,
Computational Statistics and Data Analysis, vol.51 no. 12, pp. 5847-5866.Tanner, M., 1996, Tools for statistical inference: methods for the exploration of posterior distributions and likelihood functions, Springer,
NY
.
References-IIIYıldırım, S., A. T. Cemgil, and A. B. Ertuzun, 2009, “A Hybrid Method for Deconvolution of Bernoulli-Gaussian Processes”,
International. Conference on Acoustic, Speech and Signal Processing (ICASSP 2009), Taipei, Taiwan, April 19-24, pp. 3417 - 3420.
Yıldırım, S A.T. Cemgil, M. Aktar, Yaman Özakin and A. Ertüzün, 2010, “A Bayesian Deconvolution Approach for Receiver Function Analysis”, IEEE Transactions on Geoscience and Remote Sensing, vol. 48, no.12, 2010, pp.4151-4163
Yıldırım, S., 2009, “Bayesian Methods for Deconvolution of Sparse Processes”, (MS Thesis), Bogazici University, Turkey, June.
Van der Nerwe, N. De Freitas, A. Doucet and E. Wan, 2000, “The Unscented Particle Filter” num. CUED/F-INFENG/TR 380, cambridge Univeristy Engineering Department,Cambridge, England, August.
Van Trees, H. L., 1968, Detection, Estimation and Modulation Theory, Part 1, Wiley, NY.Vermaak, J., C. Andrieu, A. Doucet and S. J. Godsill, 2002, “Particle Methods for Bayesian Modeling and Enhancement of Vermaak, J., C. Andrieu, A. Doucet and S. J. Godsill, 2002, “Particle Methods for Bayesian Modeling and Enhancement of
Speech Signals”, IEEE Trans. on Speech and Audio Processing, Vol. 10, No. 3, pp.173-185.