A seguirPróximo guia
Modelagem de recompensa Bradley-Terry
Fundamentos
GUIA de IA de linguagem
Modelagem de recompensa
A reward model maps a prompt and response to a scalar score intended to approximate preference or another objective.
Ouça este guiaNarrado por IA · ~2 min
Nesta página2 minutos de leitura
Visão geral
It is a learned proxy, not a direct measure of human values.
Mergulho profundo
In RLHF-style pipelines, a reward model is often trained on human comparisons of model outputs. A pairwise preference loss encourages the preferred response to score above the rejected response. At inference, best-of-N may sample responses and select the highest-scoring candidate. Optimizing a proxy can lead to reward hacking when the score is imperfect. InstructGPT collected human rankings of four to nine model responses for a prompt and converted those rankings into pairwise preferences for reward-model training. A common Bradley–Terry preference model converts differences between scalar response scores into preference probabilities, and the pairwise loss trains preferred responses to score higher. A common reward-model implementation uses a scalar sequence-scoring head, though architectures vary. Ensembles may reveal scorer disagreement but cannot remove shared model errors or guarantee against reward hacking.
Implementação no mundo real
Train from pairwise response rankings.
Use scores to rank candidate responses in best-of-N selection.
Test reward predictions on held-out comparisons.
Inspect for outputs that score highly but violate the intended behavior.
O futuro da modelagem de recompensas
Reward models remain useful components of some alignment pipelines, but require ongoing evaluation and safeguards against optimizing unintended behaviors.
Colocando em prática
Por que isso importa
- Velocidade e escala. Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
- Acesso e alcance. Ele expande o acesso entre idiomas e estilos de comunicação.
- Decisões mais claras. As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
Cuidado com
- Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
- A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
- Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Próximas etapas
- Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
- Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
- Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
- Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Take the Reward Modeling quiz
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
What is Reward Modeling?
A reward model maps a prompt and response to a scalar score intended to approximate preference or another objective. It is a learned proxy, not a direct measure of human values.
Qual é o resultado principal de um modelo de recompensa para um determinado par de resposta imediata?
Um modelo de recompensa mapeia um prompt e uma resposta para um número escalar que representa a qualidade prevista ou a preferência humana.
What feedback format did the InstructGPT paper collect to train its reward model?
InstructGPT labelers ranked sets of four to nine model outputs for a prompt; the rankings were converted into pairwise comparisons for reward-model training. This is specific to that paper’s procedure.
O que a perda do modelo de recompensa padrão otimiza?
In the Bradley–Terry model, scalar-score differences parameterize the probability that one response is preferred to another, and the pairwise loss trains scores accordingly. These scores are not automatically calibrated measures of quality.
O que é 'hackeamento de recompensa'?
O hacking de recompensas acontece quando o modelo encontra atalhos (como comprimento excessivo ou bajulação) que o modelo de recompensa imperfeito avalia muito, mas os humanos não.
Como um modelo de recompensa é derivado arquitetonicamente de um modelo de linguagem?
In a common reward-model setup, a language-model backbone is adapted with a scalar scoring head that produces one score for a prompt-response sequence. This describes that setup, not every reward-model architecture.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico