به نام خدا. Popular Ensemble Methods: An Empirical Study. استاد راهنما: دکتر کیومرث شیخ اسماعیلی ارائه دهنده: شهرام رحمانی رحیم شیخی مصطفی اعظمی. G7. مقدمه. اصل ”نهار مجانی وجود ندارد“ ( No Free Lunch Theorem) بیان میدارد که: - PowerPoint PPT Presentation
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Popular Ensemble Methods: An Empirical Study گروه مهندسي کامپيوتر و فناوری اطالعات دانشگاه
کردستان
Popular Ensemble Methods: An Empirical Study
استاد راهنما: دکتر کیومرث استاد راهنما: دکتر کیومرث شیخ اسماعیلیشیخ اسماعیلی
ارائه دهنده:ارائه دهنده:
شهرام رحمانی شهرام رحمانی
رحیم شیخیرحیم شیخی
مصطفی اعظمیمصطفی اعظمی
به نام خدا
2
مقدمه
بیان میدارد که: ( No Free Lunch Theorem)اصل ”نهار مجانی وجود ندارد“
هیچ الگوریتمی وجود ندارد که برای تمامی مسائل و در تمامی زمانها بهترین) دقیق ترین( یادگیر را بوجود آورد.
ایده: اگر تعدادی یادگیر پایه داشته باشیم میتوان با ترکیب نتایج آنها به دقت باالتری
رسید.
این یادگیرها ممکن است در موارد زیر با هم متفاوت باشند:.الگوریتم: که باعث میشود فرضیات مختلفی در مورد داده استفاده شود پارامترها: مثل تعداد گره های مختلف الیه پنهان شبکه های عصبی و یاK
KNNمتفاوت در نحوه نمایش: استفاده از تعداد متفاوت ویژگی برای هر یادگیر، استفاده از
مجموعه داده متفاوت مجموعه آموزشی: داده های آموزشی یادگیرها اندکی با هم تفاوت داشته
باشند.
3
ترکیب دسته بندی کننده هاروشهای مختلفی برای ترکیب نتایج
دسته بندی کننده ها وجود دارد: متداولترین روشها میانگین گیری و یا
استفاده از رای اکثریت هستندانگیزه اصلی این کار در اینجاست که:
ما هنگام طراحی یک سیستم یادگیرانتخاب های فراوانی داریم: نحوه
نمایش، پارامترهای یادگیر، داده های آموزشی و غیره.
این تنوع باعث میشود که نوعی از واریانس در عملکرد سیستم وجود داشته باشد. در نتیجه اگر سیستم های مختلفی داشته و از نتایج آنها
استفاده شود این امکان وجود دارد که توزیع خطا حول هدف متمرکز
شده و با افزایش نمونه گیری از این توزیع به نتیجه بهتری برسیم
d1
d2
d3
d4
d5
Final output
input
Simple Majority Voting
4
خصوصیت دسته بندی کننده های پایه
برای اینکtه بتtوان نتیجtه مناسtبی از تtرکیب دسtته بنtدی کننtده را زیtر بایtد شtرایط هtا کننtده بنtدی این دسtته گtرفت، هtا
داشته باشند: هر یک به تنهائی در حد قابل قبولی دقیق باشند. البته نیازی
به بسیار دقیق بودن آنها نیست. هر کدام مکمل دیگری عمل کنند. به این معنا که همگی نباید
مشابه هم بوده و نتیجه یکسانی تولید کنند.
5
6
انواع ترکیب دسته بندی کننده هاStatic structures
پاسtخ چنtدین خtبره بtدون در نظtر گtرفتن سtیگنال ورودی بtا هم تtرکیب میشوند.
ensemble averaging روجیtده و خtرکیب شtا هم تtورت خطی بtف بصtای مختلtبره هtخروجی خ
جمعی را بوجود می آوردboosting.یک یادگیر ضعیف طوری تغییر داده میشود تا به دقت باالئی برسد
Dynamic structuresدر این روش سtیگنال ورودی در انتخtاب مکانیسtم تtرکیب خtبره هtا تtاثیر