سازگاري فرايندهاي يادگيري Consistency of Learning Processes ارائه دهنده : الهام باوفای حقیقی استاد درس : آقای دکتر

سازگاري فرايندهاي يادگيري

Consistency of Learning Processes

ارائه دهنده: الهام باوفای حقیقیاستاد درس: آقای دکتر شيري

دانشگاه امير كبير مهندسي كامپيوتر و فناوري ‌دانشكده

اطالعات

فهرست

باوفا الهام يادگيري 2 فرايندهاي سازگاري

مقدمه•همگرايي•آنتروپي مجموعه اي از توابع•شروط همگرايي•تئوري غير قابل رد كردن•نتايج•ضميمه )تعاريف و بحث هاي •

آماري(

مقدمه


را نيز ريسك واقعي كم كرد؟

،حداقل كردن ريسك مشاهدات

چه زماني مي توان همزمان با

سازگاريConsistency

مقدمه تعريف سازگاري


تعريف كالسيك

ريسك )خطاي( مشاهدات

ريسك )خطاي( واقعي

مقدمه انواع سازگاري


(trivial case) نسخه غير جدي

(non trivial case) نسخه جدي

...ادامه

مقدمه انواع سازگاري


(trivial case) نسخه غير جدي

(non trivial case) نسخه جدي

...ادامه

non trivially consistent consistent

همگرايي


همگرايي يكنواخت يك طرفه -

همگرايي يكنواخت دو طرفه -

شرط الزم و كافي براي

همگرايي؟

آنتروپي مجموعه از توابع

)Indicator(توابع جداكننده


Sample Set:

به چند طريق مختلف مي توابع توان با استفاده از

جداكنندهدسته بندي هاي مختلف

روي مجموعه از نمونه ها يك

داشت

...ادامه




...ادامه

Random Entropy:

Entropy:

افزايش آنتروپي نشاندهنده تعدد در تصميم گيري هاي مختلف و توانمندي

در خرد كردن مجموعه نمونه ها به .صورت هاي دلخواه است


توابع حقيقي


s.t.find

كوچكترين عددي كه شرايط فوق را تامين كند :

Nl عدد بردار به طول

for

N

...ادامه




...ادامه




...ادامه

Random V.C. Entropy:

V.C. Entropy:با توجه به توزيع نمونه ها

شروط همگرايي همگرايي دوطرفه

باوفا الهام 13

جهتكافي و الزمشرط

دو طرفههمگرايي يكنواخت :

كفايت:تابع صعودي

...ادامه

شروط همگرايي

همگرايي دوطرفه


...ادامه

...ادامه

شروط همگراييهمگرايي دوطرفه


...ادامه

SUP

...ادامه




...ادامه

...ادامه




...ادامه

...ادامه

شرط تكنيكي:


همگرايي يك طرفه

باوفا الهام يادگيري 18 فرايندهاي ...ادامهسازگاري

همگرايي يكطرفه

if


همگرايي يك طرفه


...ادامه

s.t.

جهتكافي و الزمشرط

يك طرفههمگرايي يكنواخت

تئوري غير قابل رد كردنTheory of Nonfalsifiablity


آيا همچنان مي توانيم سازگاري داشته باشيم؟



...ادامه

Popper’s Theory:two models of reasoning

(i) Deductive: which means moving from general to particular(ii) Inductive: which means moving from particular to general



...ادامه

با توجه به تئوري پوپر:

)Falsifiable (

حقايقي وجود داشته باشند كه در شرايط تئوري مورد نظر قرار داشته

اماباشندنتوانند توسط آن تئوري توضيح داده

شوند!

چون تئوري بر اساس تعداد محدود داده هاي آزمايشي درست شده پس

حتما داراي نايقيني خواهد بود.

زيرا

قابل رد بايد يك تئوري استقرايي باشد!شدن



...ادامه

غير قابل رد شدن خواهد شد

Complete (Popper’s) Nonfalsifiablity

Partial Nonfalsifiablity

Potential Nonfalsifiablity

ERM

تئوري غير قابل رد كردنComplete Nonfalsifiablity


توانمندي در خرد كردن مجموعه نمونه ها

. صورت دلخواه استهربه

تئوري غير قابل رد كردن Partial Nonfalsifiablity


For any given sequence of binary values

تئوري غير قابل رد كردن Potential Nonfalsifiablity


Q is Potentially Nonfalsifiable

If exist two functions:

s.t.

...ادامه

تئوري غير قابل رد كردن Potential Nonfalsifiablity


...ادامه

يادگيري فرايندهاي سازگاري

تئوري غير قابل رد كردن

نتيجه


مسئله حداقل كردن ريسك براي داده هاي

همواره سازگار نيستآموزشي

(ERM)

نتايج


1

...ادامه

Sufficient condition for consistency of the ERM principle

نتايج


...ادامه2

3

Sufficient condition for a fast rate of convergence

ERM principle consistent and simultaneously provides a fast rate of convergence

independent of the probability measure

necessary and sufficient conditions Consistency sufficient condition for a fast rate of convergence

ضميمه )تعاريف و بحث هاي آماري(

باوفا الهام ...ادامه31

مجموعه رخدادهاي پايه

تعريف كيفي از آزمايش نگاه ايده

آل

مدل آماري



...ادامه

Probability Measure

تعريف كمي از نگاه ايده آزمايش

آل

مدل آماري



...ادامه

Practical



...ادامه

مسئله اصلي در:

تئوري آمارتئوري

احتماالت

بدست آوردن تابع توزيع

بدست Probability Measureآوردن

دو مود اصلي در Probability Measureمحاسبه

مود قويمود ضعيف



در مود شرايط سازگاري در بررسي ...ادامهضعيف قرار داريم


باتشکر از توجه شما




آنتروپي بي نهايت و كاهش قابليت تعميم

1بازگشت 2بازگشت

سازگاري فرايندهاي يادگيري Consistency of Learning Processes ارائه دهنده : الهام باوفای حقیقی استاد درس : آقای دکتر

Documents