دوره یادگیری عمیق | 009 | مشکل انفجار یا انهدام گرادیان و راه حل

در حین آموزش شبکه های عصبی گرادیان محاسبه شده میتونه خیلی خیلی زیاد یا خیلی کم بشه اگر خیلی زیاد بشه میگیم انفجار گرادیان رخ داده یا exploding gradients و اگر گرادیان خیلی کم بشه میگیم کاهش گرادیان رخ داده یا vanishing gradients در این قسمت دلیل رخ دادن این دو مشکل رو باهم بررسی میکنیم و میگیم برای اینکه این مشکلات به وجود نیاد چه کار هایی میتونیم انجام بدیم. میتونید تلگرام و اینستاگرام رو هم دنبال کنید و با من در ارتباط باشید https://t.me/aiotronics   / aiotronics   بخش بندی ویدیو: 00:00 مقدمه و معرفی مباحث این جلسه 01:04 کی گرادیان خیلی بزرگ میشه؟ | when gradients explode 06:48 تاثیر زیاد شدن گرادیان روی آموزش | bad effect of exploding gradients 07:15 کی گرادیان خیلی کوچک میشه؟ | when gradients vanish 07:55 تاثیر خیلی کم شدن گرادیان روی آموزش | bad effect of vanishing gradients 08:30 مروری بر فرمول بک پروپگیشن برای درک ریاضی کاهش یا افزایش گرادیان 09:02 کم یا زیاد شدن گرادیان چه مشکلاتی رو ایجاد میکند؟ | bad effects of vanishing or exploding gradients 09:36 رفع مشکل کم یا زیاد شدن گرادیان با مقدار دهی اولیه مناسب پارامتر های شبکه 13:36 مقدار دهی اولیه مناسب با استفاده از نامپای | random initialization numpy 14:36 روش های مقدار دهی اولیه ضرایب در پایتورچ | random initialization pytorch 16:42 نکته مهم در فرمول انتخاب ضرایب اولیه شبکه عصبی 17:55 مرور و صحبت پایانی #هوش_مصنوعی #یادگیری_عمیق #یادگیری_ماشین #شبکه_عصبی #پروژه_هوش_مصنوعی #دوره_رایگان #دراپوت #دیپ_لرنینگ #پایتورچ #گرادیان #vanishing #exploding #gradients #deeplearning #gradient #pytorch #neuralnetworks #initialization #pytorch