경사 하강법
함수의 국소적 최솟값을 찾기 위한 반복적 최적화 알고리즘입니다.
모든 딥러닝 모델의 기본 학습 원리입니다. 학습률(Learning Rate) 설정에 따라 모델의 성능과 학습 속도가 결정됩니다.
graph LR
Center["경사 하강법"]:::main
Rel_backpropagation["backpropagation"]:::related -.-> Center
click Rel_backpropagation "/terms/backpropagation"
Rel_neural_network["neural-network"]:::related -.-> Center
click Rel_neural_network "/terms/neural-network"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧒 5살도 이해할 수 있게 설명
🌍 안개 낀 산에서 가장 낮은 골짜기를 찾는다고 상상해 보세요. 발끝으로 지면의 기울기를 느끼며 가장 가파르게 내려가는 쪽으로 한 걸음씩 이동하는 방법입니다.
🤓 Expert Deep Dive
손실 함수의 기울기(Gradient) 반대 방향으로 가중치를 업데이트합니다. 로컬 미니마(Local Minima) 문제를 해결하기 위해 모멘텀 기법 등이 사용됩니다.