A seguirPróximo guia
Modelagem de recompensa
IA de linguagem
GUIA de fundamentos
Modelagem de recompensa Bradley-Terry
O modelo Bradley-Terry é um método estatístico centenário para transformar comparações entre pares (A vence B) em pontuações numéricas.
Ouça este guiaNarrado por IA · ~2 min
Nesta página2 minutos de leitura
Visão geral
In modern AI it powers reward models that learn human preferences from 'which answer is better?' labels, the backbone of RLHF.
Mergulho profundo
Bradley-Terry, introduzido em 1952, assume que cada item tem uma pontuação de força oculta, e a probabilidade de o item A vencer o item B é a função logística de sua diferença de pontuação. No alinhamento da IA, isso mapeia perfeitamente os dados de preferência: os rotuladores humanos veem duas respostas do modelo e escolhem o melhor, em vez de fornecer classificações absolutas difíceis de calibrar. Um modelo de recompensa, geralmente o modelo de linguagem com uma cabeça de saída escalar, é treinado para que a resposta preferida pelos humanos receba uma recompensa escalar mais alta. A perda é a probabilidade logarítmica negativa da probabilidade de Bradley-Terry: maximizar o log-sigmóide de (recompensa do escolhido menos recompensa do rejeitado). O modelo de recompensa resultante pontua resultados arbitrários, fornecendo o sinal contra o qual algoritmos de aprendizagem por reforço, como PPO, são otimizados para tornar os modelos mais úteis e alinhados.
Implementação no mundo real
Treinar o modelo de recompensa em RLHF que classifica duas respostas do chatbot e alimenta o sinal melhor-pior para o ajuste fino do PPO.
Otimização de preferência direta ajustando um modelo diretamente em pares de respostas escolhidas versus rejeitadas usando a perda log-sigmóide de Bradley-Terry.
Classificação de jogadores de xadrez ou esportes eletrônicos por meio do Elo, que é matematicamente um primo próximo do modelo Bradley-Terry em resultados de jogos.
Construir um classificador de recomendação de conteúdo a partir de dados de cliques de 'usuários preferiram A em vez de B', em vez de avaliações absolutas com estrelas.
O futuro da modelagem de recompensas Bradley-Terry
Bradley-Terry assume uma classificação única e consistente e preferências transitivas, que se desfaz quando os humanos discordam ou ocorrem ciclos de preferências. A pesquisa está avançando em direção a modelos que capturam distribuições de preferências, recompensas multidimensionais (utilidade, segurança, honestidade pontuadas separadamente) e métodos como o de Nash aprendendo com o feedback humano que abandonam a suposição de pontuação única. O DPO e as suas variantes incorporam cada vez mais o objectivo Bradley-Terry directamente na formação política. Espere esquemas de comparação mais ricos, incluindo classificações de mais de dois itens e preferências ponderadas pela confiança, para reduzir a pirataria de recompensas.
Colocando em prática
Por que isso importa
- Decisões mais claras. Ajuda a separar afirmações técnicas claras da linguagem de marketing.
- Custo e orçamento. Você pode fazer perguntas melhores sobre implementação antes de gastar dinheiro ou tempo.
- Equipe e fluxo de trabalho. Equipes com entendimento compartilhado tomam melhores decisões sobre produtos, políticas e aprendizado.
Cuidado com
- Equipes diferentes podem usar o mesmo termo de maneira diferente, portanto, defina o escopo com antecedência.
- Os benchmarks podem parecer fortes, enquanto o desempenho no mundo real é irregular.
- Ignorar a qualidade dos dados e os planos de avaliação cria frequentemente resultados frágeis.
Próximas etapas
- Comece com uma definição em linguagem simples do resultado que você precisa.
- Escolha uma métrica de sucesso e uma condição de falha antes de testar.
- Execute um pequeno piloto com dados representativos, não um conjunto de demonstração sofisticado.
- Documente onde a modelagem de recompensa Bradley-Terry ajuda e onde métodos mais simples são melhores.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Take the Bradley-Terry Reward Modeling quiz
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
What is Bradley-Terry Reward Modeling?
O modelo Bradley-Terry é um método estatístico centenário para transformar comparações entre pares (A vence B) em pontuações numéricas. Na IA moderna, ela potencializa modelos de recompensa que aprendem as preferências humanas a partir de 'qual resposta é melhor?' rótulos, a espinha dorsal do RLHF.
O que o modelo Bradley-Terry converte em pontuações numéricas?
Bradley-Terry faz comparações aos pares “A vence B” e infere uma pontuação de força oculta para cada item, razão pela qual se ajusta tão bem à rotulagem de preferência humana.
Em Bradley-Terry, a probabilidade de A vencer B é função de quê?
O modelo define P(A vence B) igual à logística (sigmóide) da diferença entre as pontuações de força oculta de A e B.
Por que as recompensas de Bradley-Terry são identificáveis apenas até uma constante aditiva?
A perda de treinamento utiliza apenas a diferença entre as recompensas escolhidas e rejeitadas, portanto, mudar todas as pontuações pela mesma constante deixa a perda inalterada; a escala absoluta é arbitrária.
Qual é a perda padrão para uma comparação de preferência única na modelagem de recompensa?
A probabilidade logarítmica negativa de Bradley-Terry reduz para menos log-sigmóide da diferença de recompensa escolhida menos rejeitada, aumentando a recompensa da resposta escolhida.
Qual método ignora um modelo de recompensa separado, otimizando o objetivo de Bradley-Terry diretamente na apólice?
O DPO reformula o objetivo de preferência de Bradley-Terry para que possa ser aplicado diretamente ao modelo de política, eliminando a necessidade de treinar e consultar um modelo de recompensa independente.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico