YAPAY SİNİR AĞLARI VE BAYES SINIFLAYICI

YAPAY SİNİR AĞLARI VE BAYES SINIFLAYICI

Yrd.Doç.Dr.Lale Özyılmaz

YAPAY SİNİR AĞLARI (YSA)

Genel olarak insan beyninin ya da merkezi sinir sisteminin çalışma prensiplerini taklit eden bilgi işleme sistemleridir.

YSA yapay sinir hücrelerinden meydana gelir ve katmanlar halinde oluşturulur.

BİYOLOJİK VE YAPAY SİNİR SİSTEMİ

Biyolojik Sinir Sistemi YSA Sistemi

Nöron İşlem Elemanı

Dendrit Birleştirme Fonksiyonu

Hücre Gövdesi Transfer Fonksiyonu

Akson İşlem Elemanı Çıkışı

Sinapslar Ağırlıklar

İŞLEM ELEMANININ YAPISI

YAPAY SİNİR AĞLARININ YAPISI-1


Yapay sinir ağları, yapay sinir hücrelerinin birbirine bağlanmasıyla oluşan yapılardır. Yapay sinir ağları üç ana bölümde incelenir: giriş, ara (gizli) ve çıkış katmanları.


Giriş Katmanı: Yapay sinir ağına dış dünyadan girişlerin geldiği katmandır. Genelde girişler herhangi bir işleme uğramadan ara katmanlara iletilmektedir.


Ara (Gizli) Katman: Giriş katmanından çıkan bilgiler bu katmana gelir. Ara katman sayısı ağdan ağa değişebilir. Bazı yapay sinir ağlarında ara katman bulunmadığı gibi bazı yapay sinir ağlarında ise birden fazla ara katman bulunmaktadır.

Ara katmanlardaki nöron sayıları giriş ve çıkış sayısından bağımsızdır.


Çıkış Katmanı: Ara katmanlardan gelen bilgiyi işleyerek, giriş katmanından gelen verilere karşılık olan çıkışları üreten katmandır. Bu katmanda üretilen çıkışlar dış dünyaya gönderilir.

YSA’NIN TEMEL BAZI ÖZELLİKLERİ

Öğrenme: İstenen çıkış(lar)ı elde etmek için bağlantı ağırlıklarının ayarlanmasıdır.

Genelleme: YSA’nın eğitim sırasında karşılaşmadığı test örnekleri için de istenen çıkışı üretmesidir.

Adaptiflik: Ele alınan problemdeki değişikliklere göre ağırlıkların tekrar ayarlanmasıdır.

YSA’LARIN YAPILARINA GÖRE SINIFLANDIRILMASI-1

İleri Beslemeli Ağ:

YSA’LARIN YAPILARINA GÖRE SINIFLANDIRILMASI-2

Geri Beslemeli Ağ:

Çıkışlar

Girişler Z-1 : gecikme operatörü

YSA’LARIN ÖĞRENME ALGORİTMALARINA GÖRE SINIFLANDIRILMASI

Eğiticili (Denetimli) Öğrenme: Çıkış katmanında ağın üretmesi gereken

sonuçlar yani hedef (istenen, beklenen) çıkışlar YSA’ya verilir.

Eğiticisiz (Denetimsiz) Öğrenme:

Örneklerden elde edilen çıkış bilgisine göre YSA, girişleri kümelere ayırır.

YAPAY SİNİR AĞININ EĞİTİMİNDE ÖNEMLİ BAZI KRİTERLER

Eğitme örneklerinin seçilmesi Ağ yapısının belirlenmesi Durdurma kriterlerinin seçimi

TEK KATMANLI ALGILAYICI (TKA) ÖĞRENME KURALI-1

Adım 1: Ağa giriş verileri ve girişlere karşılık gelen beklenen (hedef) çıkışlar uygulanır. Hedef çıkış, 1 ve 0 değerlerinden birisini alır.

Adım 2: Net giriş şu şekilde hesaplanır: NET=∑(wi*xi) Adım 3: Ağın çıkış değeri hesaplanır. Net girişin

eşik değerinden büyük veya küçük olmasına göre ağın çıkış değeri 1 ve 0 değerlerinden birisini alır.


Ç: Ağ çıkışı (gerçekleşen çıkış) olmak üzere,

Ç=1 Eğer NET > EŞİK DEĞERİ

Ç=0 Eğer NET < = EŞİK DEĞERİ

Eğer gerçekleşen çıkış ile beklenen (hedef) çıkış aynı olursa ağırlıklarda herhangi bir değişiklik yapılmaz. Gerçekleşen çıkış ile beklenen çıkış farklı olursa iki durum söz konusudur:


a) Ağın beklenen çıkışı 0 değerindedir. Fakat net giriş eşik değerinin üstündedir. Yani ağın gerçekleşen çıkışı 1 değerindedir. Bu durumda ağırlık değerleri azaltılır. Ağırlıkların değişimi

Wn = W0 - λX ile hesaplanır. Burada λ öğrenme katsayısıdır.

b) Beklenen çıkışın 1 olması ve ağın gerçek çıkışının 0 olması durumudur. Yani net giriş eşik değerine eşittir ya da eşik değerinden küçüktür. Bu durumda ağırlıkların değerlerinin arttırılması gerekmektedir. Yeni ağırlık değerleri

Wn = W0 + λX ile hesaplanır.


Adım 4: Önceki adımlar giriş setindeki (kümesindeki) bütün örnekler için doğru

sınıflandırmalar yapılıncaya kadar tekrarlanır.

TEK KATMANLI ALGILAYICI (TKA) İÇİN ÖRNEK PROBLEM-1

X : Ağa uygulanan örnekler H : Hedef (Beklenen) çıkışlar Ç : Gerçekleşen çıkışlar (Ağın çıkışı) 1. örnek : X1 = (x1, x2) = (1,0) ; H1 = 1 2. örnek : X2 = (x1, x2) = (0,1) ; H2 = 0 Ağırlıklar: W = (w1, w2) = (1,2) Eşik Değeri: θ = -1 Öğrenme Katsayısı: λ = 0.5


1. Eğitme Adımı (İterasyon) :1. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*1 + 2*0 = 1NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundan ağırlıklardeğiştirilmez.

2. Eğitme Adımı (İterasyon) :2. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*0 + 2*1 = 2NET > θ olduğu için Ç2 = 1 olur. Ç2 >H2 olduğundanağırlıklar Wn=W0-λX ile değiştirilir.w1 = w1-λx1 = 1- 0.5*0 = 1w2 = w2-λx2 = 2- 0.5*1 = 1.5


3. Eğitme Adımı (İterasyon) :1. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*1 + 1.5*0 = 1NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundanağırlıklar değiştirilmez.

4. Eğitme Adımı (İterasyon) :2. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*0 + 1.5*1 = 1.5NET > θ olduğu için Ç2 = 1 olur. Ç2 >H2 olduğundanağırlıklar Wn=W0-λX ile değiştirilir.w1 = w1-λx1 = 1- 0.5*0 = 1w2 = w2-λx2 = 1.5- 0.5*1 = 1


5. Eğitme Adımı (İterasyon) :1. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*1 + 1*0 = 1NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundanağırlıklar değiştirilmez.

6. Eğitme Adımı (İterasyon) :2. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*0 + 1*1 = 1NET > θ olduğu için Ç2 = 1 olur. Ç2 >H2 olduğundanağırlıklar Wn=W0-λX ile değiştirilir.w1 = w1-λx1 = 1- 0.5*0 = 1w2 = w2-λx2 = 1- 0.5*1 = 0.5


7. Eğitme Adımı (İterasyon) :1. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*1 + 0.5*0 = 1NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundanağırlıklar değiştirilmez.

8. Eğitme Adımı (İterasyon) :2. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*0 + 0.5*1 = 0.5NET > θ olduğu için Ç2 = 1 olur. Ç2 >H2 olduğundanağırlıklar Wn=W0-λX ile değiştirilir.w1 = w1-λx1 = 1- 0.5*0 = 1w2 = w2-λx2 = 0.5- 0.5*1 = 0


9. Eğitme Adımı (İterasyon) :1. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*1 + 0*0 = 1NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundanağırlıklar değiştirilmez.

10. Eğitme Adımı (İterasyon) :2. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*0 + 0*1 = 0NET > θ olduğu için Ç2 = 1 olur. Ç2 >H2 olduğundanağırlıklar Wn=W0-λX ile değiştirilir.w1 = w1-λx1 = 1- 0.5*0 = 1w2 = w2-λx2 = 0- 0.5*1 = -0.5


11. Eğitme Adımı (İterasyon) :1. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*1 + (-0.5)*0 = 1NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundanağırlıklar değiştirilmez.

12. Eğitme Adımı (İterasyon) :2. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*0 + (-0.5)* 1 = -0.5NET > θ olduğu için Ç2 = 1 olur. Ç2 >H2 olduğundanağırlıklar Wn=W0-λX ile değiştirilir.w1 = w1-λx1 = 1- 0.5*0 = 1w2 = w2-λx2 = (-0.5)- 0.5*1 = -1


13. Eğitme Adımı (İterasyon) :1. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*1 + (-1)* 0 = 1NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundanağırlıklar değiştirilmez.

14. Eğitme Adımı (İterasyon) :2. örnek ağa uygulanır.NET = w1*x1 + w2*x2 = 1*0 + (-1)*1 = -1NET = θ olduğu için Ç2 = 0 olur. Ç2 = H2olduğundan ağırlıklar değiştirilmez.

Ağırlıkların son durumu : W = (w1, w2) = (1,-1)

BAYES SINIFLAYICI

İstatistiksel bir sınıflandırıcıdır. Sınıf üyelik olasılıklarını öngörür.

İstatistikteki Bayes Teoremine dayanır. Basit bir yöntemdir.

BASİT BAYES SINIFLANDIRMA YÖNTEMİ

Giriş : Öğrenme seti C1, C2, …, Cm adlı m sınıfımız olsun . Sınıflandırma maksimum posteriori olasılığını bulmaya dayanır.

P(X) is bütün sınıflar için sabittir. olasılığının maksimum değeri

bulunmalıdır.

Yeni bir örnek X, maximum P(X|Ci)*P(Ci) değerine sahip olan sınıfa atanır.

)()()|(

)|(X

XX

PiCPiCP

iCP

)()|()|( iCPiCPiCP XX

)|(...)|()|(1

)|()|(21

CixPCixPCixPn

kCixPCiP

nk

X

P(xi|C) DEĞERLERİNİN BULUNMASI

P(A) = 5/14

P(B) = 9/14

Özellik 1

P(1|A) = 3/5 P(1|B) = 2/9

P(2|A) = 0 P(2|B) = 4/9

P(3|A) = 2/5 P(3|B) = 3/9

Özellik 2

P(1|A) = 2/5 P(1|B) = 2/9

P(2|A) = 2/5 P(2|B) = 4/9

P(3|A) = 1/5 P(3|B) = 3/9

Özellik 3

P(1|A) = 4/5 P(1|B) = 3/9

P(2|A) = 1/5 P(2|B) = 6/9

Özellik 4

P(1|A) = 2/5 P(1|B) = 6/9

P(2|A) = 3/5 P(2|B) = 3/9

YENİ X ÖRNEĞİNİN SINIFLANDIRILMASI

Yeni örnek X = <özellik1, özellik2, özellik3, özellik4>=<3, 1, 1, 1>

P(X|A)·P(A) =

P(3|A)·P(1|A)·P(1|A)·P(1|A)·P(A) = 2/5·2/5·4/5·2/5·5/14 = 0.018286

P(X|B)·P(B) =

P(3|B)·P(1|B)·P(1|B)·P(1|B)·P(B) = 3/9·2/9·3/9·6/9·9/14 = 0.010582

Örnek X’in sınıfı A olarak öngörülür.

TEŞEKKÜRLER ...

Yrd.Doç.Dr. LALE ÖZYILMAZYILDIZ TEKNİK ÜNİVERSİTESİ

ELEKTRONİK ve HABERLEŞMEMÜHENDİSLİĞİ BÖLÜMÜ

www.yildiz.edu.tr/[email protected]

YAPAY SİNİR AĞLARI VE BAYES SINIFLAYICI

Documents