A seguirPróximo guia
Otimização de preferência direta
IA de linguagem
GUIA de IA de linguagem
Otimização Kahneman-Tversky
A Otimização Kahneman-Tversky (KTO) é um método de alinhamento que aprende com simples rótulos positivos ou negativos, em vez de comparações emparelhadas.
Ouça este guiaNarrado por IA · ~2 min
Nesta página2 minutos de leitura
Visão geral
It matters because binary feedback is far easier and cheaper to collect than the ranked pairs most methods demand.
Mergulho profundo
O KTO, apresentado por Ethayarajh e colegas de Stanford e Contextual AI em 2024, toma emprestado da teoria do prospecto, o trabalho ganhador do Nobel de Daniel Kahneman e Amos Tversky sobre como os humanos valorizam ganhos e perdas. Métodos padrão como DPO precisam de pares de preferências: uma resposta escolhida e uma rejeitada para o mesmo prompt. Em vez disso, o KTO trabalha com dados não pareados, onde cada saída individual é simplesmente marcada como desejável ou indesejável. Ele constrói uma perda consciente do ser humano que trata a melhoria do modelo em uma amostra como um ganho ou perda em relação a um ponto de referência, aplicando aversão à perda para que os resultados indesejáveis sejam penalizados de forma mais acentuada do que os desejáveis sejam recompensados. Isso permite que as equipes usem os abundantes sinais de aprovação/rejeição já coletados em aplicativos de produção.
Implementação no mundo real
Usando cliques de aprovação/rejeição de um chatbot implantado para ajustá-lo sem nunca criar pares de preferências
Alinhar um modelo quando você tem uma pilha de respostas “boas” e “ruins”, mas não há comparações correspondentes para os mesmos prompts
Uma equipe de produto reciclando sinalizadores de moderação (indesejáveis) e respostas salvas (desejáveis) no treinamento KTO
Lidar com feedback desequilibrado onde desgostos são mais raros do que gostos, ajustando a aversão à perda e os pesos de classe do KTO
O futuro da otimização Kahneman-Tversky
O KTO é adequado para produtos reais, onde os usuários clicam naturalmente em gostar ou não, mas raramente classificam duas respostas lado a lado. Espere uma adoção mais ampla de ciclos de melhoria contínua que reciclam o feedback da produção, além de pesquisas que ajustem a proporção de dados desejáveis e indesejáveis e o peso da aversão à perda. Combinar o enquadramento da economia comportamental do KTO com outros objetivos e aplicá-lo ao feedback multimodal são direções ativas à medida que as equipes buscam o alinhamento a partir de sinais confusos do mundo real.
Colocando em prática
Por que isso importa
- Velocidade e escala. Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
- Acesso e alcance. Ele expande o acesso entre idiomas e estilos de comunicação.
- Decisões mais claras. As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
Cuidado com
- Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
- A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
- Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Próximas etapas
- Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
- Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
- Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
- Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Take the Kahneman-Tversky Optimization quiz
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
What is Kahneman-Tversky Optimization?
A Otimização Kahneman-Tversky (KTO) é um método de alinhamento que aprende com simples rótulos positivos ou negativos, em vez de comparações emparelhadas. É importante porque o feedback binário é muito mais fácil e barato de coletar do que os pares classificados que a maioria dos métodos exige.
Que tipo de dados o KTO exige?
O KTO aprende com rótulos simples de polegar para cima/baixo por exemplo, em vez de pares de preferências correspondentes.
KTO é inspirado em qual obra?
KTO toma emprestada a ideia da teoria do prospecto de avaliar ganhos e perdas de forma assimétrica, daí o nome.
O que é 'aversão à perda' conforme usado no KTO?
A teoria da perspectiva diz que as perdas são maiores do que os ganhos, então o KTO pondera mais os desvios negativos.
What kind of feedback can KTO learn from without requiring paired comparisons?
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
No KTO, os desvios são medidos em relação a quê?
A função de valor do KTO avalia se uma resposta está acima ou abaixo de uma linha de base de referência, tratando isso como um ganho ou perda.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico