جلسه ۷ - یادگیری جمعی، درخت تصمیم، جنگل تصادفی (Ensemble Learning, Decision Tree, Random Forest)

جلسه‌ی هفتم از دوره‌ی یادگیری ماشین دانشکده مهندسی کامپیوتر دانشگاه صنعتی شریف مدرس: دکتر علی شریفی زارچی، عضو هیات‌علمی گروه هوش‌مصنوعی و بیوانفورماتیک در این جلسه ابتدا به صورت نظری نشان می‌دهیم اگر یک گروه افراد هنگام رای دادن بین یک تصمیم درست و نادرست، به تصمیم درست با احتمال بیشتری (ولو به مقداری ناچیز) نسبت به تصمیم نادرست رای دهند، با افزایش تعداد رای‌دهندگان، حاصل رای اکثریت با احتمال یک همواره تصمیم درست خواهد بود. سپس از همین ایده استفاده می‌کنیم تا یادگیری جمعی (Ensemble Learning) را معرفی کنیم که در آن یک مدل بر اساس رای اکثریت تعداد زیادی از مدل‌های ساده‌تر مساله‌های دسته‌بندی و رگرسیون را با تعمیم‌پذیری بهتر حل می‌کند. در این راستا با درخت تصمیم (Decision Tree) و جنگل تصادفی (Random Forest) آشنا می‌شویم و سپس تکنیک‌های Bagging و Boosting را مرور خواهیم کرد. در پایان به معرفی AdaBoost به عنوان یکی از شیوه‌های یادگیری جمعی خواهیم پرداخت که کارآمدی بالایی در داده‌های جدولی دارد.