Градієнтний спуск
Ітераційний алгоритм оптимізації для пошуку локального мінімуму функції.
Градієнтний спуск дозволяє нейронним мережам 'вчитися'. Вибір правильної швидкості навчання є критичним для стабільності тренування моделі.
graph LR
Center["Градієнтний спуск"]:::main
Rel_backpropagation["backpropagation"]:::related -.-> Center
click Rel_backpropagation "/terms/backpropagation"
Rel_neural_network["neural-network"]:::related -.-> Center
click Rel_neural_network "/terms/neural-network"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧒 Простими словами
🌍 Уявіть, що ви в густому тумані на горі і хочете спуститися в долину. Ви не бачите низу, тому просто робите крок туди, де схил найкрутіший. Так крок за кроком ви опинитеся внизу.
🤓 Expert Deep Dive
Алгоритм оновлює ваги моделі, віднімаючи градієнт функції втрат, помножений на швидкість навчання (learning rate). Варіанти, як SGD або Adam, покращують збіжність.