勾配降下法
関数の局所的な最小値を求めるための反復的な最適化アルゴリズム。
学習率が大きすぎると収束せず（オーバーシュート）、小さすぎると時間がかかりすぎます。Adamなどの最適化手法が現代では一般的です。
graph LR
Center["勾配降下法"]:::main
Rel_backpropagation["backpropagation"]:::related -.-> Center
click Rel_backpropagation "/terms/backpropagation"
Rel_neural_network["neural-network"]:::related -.-> Center
click Rel_neural_network "/terms/neural-network"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧒 5歳でもわかるように説明
🌍 霧の深い山から一番下の下山道を探していると想像してください。足元の傾斜を感じて、一番急に下っている方向に一歩ずつ進むようなものです。
🤓 Expert Deep Dive
損失関数の勾配（傾き）の逆方向にパラメータを更新します。確定的勾配降下法、確率的勾配降下法（SGD）、ミニバッチ法などの種類があります。