Descente de Gradient

Algorithme d'optimisation itératif pour trouver le minimum local d'une fonction.

La descente de gradient stochastique (SGD) traite un seul exemple à la fois pour accélérer l'apprentissage sur de grands volumes de données.

        graph LR
  Center["Descente de Gradient"]:::main
  Rel_backpropagation["backpropagation"]:::related -.-> Center
  click Rel_backpropagation "/terms/backpropagation"
  Rel_neural_network["neural-network"]:::related -.-> Center
  click Rel_neural_network "/terms/neural-network"
  classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
  classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
  classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
  classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
  linkStyle default stroke:#4b5563,stroke-width:2px;

      

🧒 Explique-moi comme si j'avais 5 ans

🌍 C'est comme descendre d'une montagne dans le brouillard : vous faites un pas dans la direction où la pente descend le plus fort jusqu'à atteindre le bas.

🤓 Expert Deep Dive

L'algorithme calcule la dérivée partielle de la fonction de coût par rapport à chaque poids pour déterminer la direction de la mise à jour.

📚 Sources