Reinforcement Learning
Aprendizagem por Reforço (AR) é um paradigma de aprendizado de máquina onde um agente aprende a tomar decisões em um ambiente para maximizar um sinal de recompensa.
AR envolve um agente interagindo com um ambiente, tomando ações e recebendo feedback na forma de recompensas ou penalidades. O objetivo do agente é aprender uma política, que é uma estratégia para selecionar ações que maximizem a recompensa cumulativa ao longo do tempo. Este processo de aprendizado é frequentemente modelado como um Processo de Decisão de Markov (MDP), onde as ações do agente influenciam o estado do ambiente, e o ambiente fornece recompensas com base nessas transições de estado.
Algoritmos de AR exploram o ambiente por tentativa e erro, melhorando gradualmente sua política. Essa troca entre exploração e exploração é crucial, pois o agente deve equilibrar a tentativa de novas ações (exploração) com a exploração do conhecimento que já adquiriu (exploração). Vários algoritmos, como Q-learning, SARSA e gradientes de política, são usados para treinar agentes de AR. Esses algoritmos atualizam a política ou a função de valor do agente com base nas recompensas recebidas, guiando-o para um comportamento ideal.
graph LR
Center["Reinforcement Learning"]:::main
Pre_machine_learning["machine-learning"]:::pre --> Center
click Pre_machine_learning "/terms/machine-learning"
Rel_deep_learning["deep-learning"]:::related -.-> Center
click Rel_deep_learning "/terms/deep-learning"
Rel_game_theory["game-theory"]:::related -.-> Center
click Rel_game_theory "/terms/game-theory"
Rel_logistic_regression["logistic-regression"]:::related -.-> Center
click Rel_logistic_regression "/terms/logistic-regression"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 Teste de conhecimento
🧒 Explique como se eu tivesse 5 anos
🎮 Training a computer program like a puppy: rewarding good behavior and ignoring bad behavior until it learns to be helpful.
🤓 Expert Deep Dive
## RLHF: Aligning Human and Machine
Reinforcement Learning from Human Feedback (RLHF) is the secret sauce behind modern chatbots like ChatGPT. Since it's impossible to write a mathematical formula for 'a good, helpful answer,' we show the model pairs of answers and let humans rank them. An RL agent is then trained to predict these rankings, creating a 'Reward Model' that guides the LLM toward safe and helpful output.