A seguirPróximo guia
Datas limite de conhecimento em LLMs
IA de linguagem
GUIA de IA de linguagem
Maldição de reversão em LLMs
A maldição da reversão é um modo de falha surpreendente em que um modelo de linguagem que aprende que 'A é B' não pode responder com segurança 'B é A'. Revela que os LLMs armazenam factos como associações unidirecionais, não como conhecimento simétrico.
Ouça este guiaNarrado por IA · ~2 min
Nesta página2 minutos de leitura
Mergulho profundo
Documentada em um artigo de 2023 de Berglund e colegas, a maldição reversa mostra que se um modelo for treinado em 'A mãe de Tom Cruise é Mary Lee Pfeiffer', muitas vezes falha quando perguntado 'Quem é o filho de Mary Lee Pfeiffer?' mesmo que a resposta seja logicamente idêntica. O efeito persiste em todos os tamanhos de modelos e mesmo após o ajuste fino de centenas desses fatos. Não é uma lacuna de memória: o modelo viu a informação, mas apenas numa ordem. Como o treinamento otimiza a previsão do próximo token em relação à ordem exata das palavras nos dados, o link estatístico de A para B não cria automaticamente um link de B de volta para A. A descoberta desafiou as suposições de que a escala por si só produz um raciocínio flexível e humano sobre os fatos.
Implementação no mundo real
Um chatbot indica corretamente o pai de uma celebridade, mas falha quando solicitado a nomear o filho famoso desse pai.
Um modelo recita 'o nono presidente foi William Henry Harrison', mas tropeça em 'qual número de presidente foi William Henry Harrison'.
Um assistente de codificação que aprendeu um mapeamento de função para descrição não pode recuperar o nome da função apenas a partir da descrição.
Um sistema de controle de qualidade médico treinado em 'O medicamento X trata a condição Y' não lista o medicamento X quando questionado sobre o que trata a condição Y.
O futuro da maldição de reversão em LLMs
As mitigações em estudo incluem aumento bidirecional de dados (adição de frases invertidas), objetivos de treinamento que prevêem tokens em ambas as direções e sistemas de recuperação que procuram fatos simetricamente, em vez de depender de pesos memorizados. Algumas arquiteturas mais recentes e experimentos de pré-treinamento reverso reduzem a lacuna. Esperemos que a maldição diminua, mas não desapareça, pois expõe um profundo descompasso entre a aprendizagem do próximo token e a estrutura simétrica das relações do mundo real.
Colocando em prática
Por que isso importa
- Velocidade e escala. Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
- Acesso e alcance. Ele expande o acesso entre idiomas e estilos de comunicação.
- Decisões mais claras. As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
Cuidado com
- Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
- A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
- Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Próximas etapas
- Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
- Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
- Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
- Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Take the Reversal Curse in LLMs quiz
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
What is Reversal Curse in LLMs?
A maldição da reversão é um modo de falha surpreendente em que um modelo de linguagem que aprende que 'A é B' não pode responder com segurança 'B é A'. Revela que os LLMs armazenam factos como associações unidirecionais, não como conhecimento simétrico.
A model learned “A is B” but fails to answer “B is A.” What is this called?
The paper names this directional failure the reversal curse.
What does the reversal curse show about directional associations?
The paper reports that forward and reverse statements can behave differently.
Is the reversal curse simply a failure because the model never saw the fact?
The research tests failure on a reverse query after forward exposure.
Why might next-token training contribute to the effect?
The paper discusses sequence direction as relevant to the failure.
What does failure on a reverse query imply about model knowledge?
The finding challenges assumptions about flexible use of stored facts.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico