8.2 Activation functions matematikasi

📌 Ushbu darsda siz quyidagilarni o'rganasiz: 1️⃣ Nima uchun activation function kerak — chiziqli qatlamlar (W·x + b) birlashganda yana bitta chiziqqa aylanadi, shuning uchun chuqurlik kuch bermaydi; nochiziqlilik esa modelga murakkab tuzilmalarni o'rganish imkonini beradi 2️⃣ Sigmoid va Tanh — birinchi mashhur activationlar, ularning afzalliklari va vanishing gradient muammosi (nima uchun 1990-yillarda chuqur tarmoqlar ishlamasdi) 3️⃣ Softmax — ko'p sinfli klassifikatsiya uchun: logitlarni ehtimollikka aylantirish va Sigmoid bilan farqi 4️⃣ ReLU inqilobi (2012, AlexNet) — soddaligi, tezligi, sparsity afzalligi va "Dying ReLU" muammosi hamda Leaky ReLU yechimi 5️⃣ GELU, Swish/SiLU va Mish — Transformer davri activationlari (BERT, GPT, ViT, EfficientNet, YOLO) va ularning "yumshoq qaror" prinsipi 6️⃣ Qaysi vazifada qaysi activation — CNN, Transformer, Mobile, Object Detection va chiqish qatlami uchun amaliy tavsiyalar 👉 Kurs rejasi (to'liq): 🔗   / deep-learning-matematikasi-intensiv-kurs-r...   📌 Telegram kanal: 👉 https://t.me/EldorML