Cabeças de indução em transformadores
Cabeças de indução são cabeças de atenção que implementam uma regra de cópia simples, mas poderosa: 'Eu vi [A][B] antes e agora vejo [A] novamente, então preveja [B].' Eles são um mecanismo chave por trás da impressionante capacidade dos transformadores de aprender no contexto a partir de apenas alguns exemplos no prompt.
Mergulho profundo
Descobertas através da interpretabilidade mecanística de pequenos transformadores, as cabeças de indução emergem durante o treinamento em um momento característico que se alinha com uma queda repentina na perda e o início da aprendizagem no contexto. Eles normalmente funcionam como um circuito de duas cabeças. Uma 'cabeça de token anterior' em uma camada anterior copia informações sobre o antecessor de cada token. Em seguida, o cabeçote de indução usa isso para realizar a correspondência de prefixo: ele encontra uma ocorrência anterior do token atual, analisa o que se seguiu e retorna para copiar o próximo token na previsão. Essa capacidade de conclusão de padrões permite que os modelos repitam sequências, concluam analogias e selecionem novos formatos ou definições de palavras definidas inteiramente no prompt, sem nenhuma atualização de peso.
Visão Técnica
O circuito é uma composição de duas cabeças de atenção em camadas. O cabeçalho do token anterior escreve 'o token antes de mim era X' no fluxo residual de cada posição. A correspondência de chave de consulta do cabeçote de indução (QK) então compara o token atual com essas chaves deslocadas para localizar posições anteriores [A], e seu caminho de valor de saída (OV) copia o token que se seguiu. Este é um exemplo concreto de 'composição K' de camada cruzada estudada na pesquisa de circuitos de transformadores.
Impacto Estratégico
Velocidade e escala
Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
Acesso e alcance
Ele expande o acesso entre idiomas e estilos de comunicação.
Decisões mais claras
As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
O futuro dos cabeçotes de indução em transformadores
As cabeças de indução são um sucesso emblemático da interpretabilidade mecanicista, e o campo está estendendo a ideia para “circuitos de aprendizagem no contexto” mais ricos que lidam com a abstração, e não apenas com a cópia literal. Espere mais trabalhos ligando a formação abrupta dessas cabeças a mudanças de fase e habilidades emergentes em modelos maiores. Compreender quando e como esses circuitos se formam pode ajudar a prever capacidades, conceber melhores currículos e construir ferramentas de segurança que detectem quando os modelos estão a aprender comportamentos não intencionais puramente a partir do contexto.
Implementação no mundo real
Completar uma sequência de token aleatória repetida como 'A B C ... A B' prevendo 'C' do contexto anterior.
Solicitação rápida em que o modelo copia o formato de entrada-saída demonstrado nos exemplos anteriores.
Aprender o significado de uma palavra inventada dada na dica e reutilizá-la corretamente mais tarde na mesma passagem.
Ecoando fielmente uma longa string ou lista citada, combinando ocorrências anteriores de seus tokens.
Riscos e guarda-corpos
Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Roteiro de implementação
Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Induction Heads in Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Modelos Jamba Hybrid Transformer-Mamba
Perguntas frequentes
What is Induction Heads in Transformers?
Cabeças de indução são cabeças de atenção que implementam uma regra de cópia simples, mas poderosa: 'Eu vi [A][B] antes e agora vejo [A] novamente, então preveja [B].' Eles são um mecanismo chave por trás da impressionante capacidade dos transformadores de aprender no contexto a partir de apenas alguns exemplos no prompt.
Que regra um cabeçote de indução implementa essencialmente?
Cabeças de indução fazem correspondência de prefixos: elas encontram onde o token atual apareceu antes e copiam o que o seguiu.
Os cabeçotes de indução estão mais intimamente associados a qual capacidade?
Seu surgimento coincide com o início da aprendizagem contextual, a capacidade de adaptação a partir de exemplos imediatos sem atualizações de peso.
Qual o papel da 'cabeça do token anterior' no circuito de indução?
O cabeçote do token anterior escreve 'meu antecessor era X' no fluxo residual, permitindo que o cabeçote de indução corresponda e copie.
Quantas cabeças de atenção estão normalmente envolvidas no circuito de indução canônica?
O circuito clássico é uma composição de duas cabeças: uma cabeça de token anterior mais a cabeça de indução que realiza correspondência e cópia.
O que é notável quando as cabeças de indução se formam durante o treinamento?
As cabeças de indução aparecem em um momento semelhante ao de uma mudança de fase, alinhadas com uma queda repentina nas perdas e o surgimento da aprendizagem no contexto.