Aprendizagem em contexto
A aprendizagem no contexto é a capacidade surpreendente de grandes modelos de linguagem de escolher uma nova tarefa a partir de alguns exemplos colocados no prompt, sem qualquer retreinamento.
Visão geral
It is the reason you can 'teach' a model on the fly just by showing it what you want.
Mergulho profundo
Normalmente, ensinar uma nova tarefa a uma rede neural significa atualizar seus pesos por meio de treinamento. A aprendizagem no contexto é diferente: você escreve alguns exemplos diretamente no prompt (o 'contexto') e o modelo infere o padrão e o aplica a uma nova entrada. Nada muda dentro do modelo; os exemplos apenas orientam a previsão do próximo token. Você ouvirá 'zero-shot' (apenas instruções), 'one-shot' (um exemplo) e 'few-shot' (vários exemplos). Esse comportamento foi popularizado pelo GPT-3 em 2020 e acabou se tornando uma habilidade emergente: modelos minúsculos não conseguem fazer isso, mas além da escala de aproximadamente 100 bilhões de parâmetros, a precisão em comandos de poucos disparos aumenta acentuadamente. O modelo aprendeu efetivamente a reconhecer e continuar padrões durante o pré-treinamento, para poder reutilizar essa habilidade no momento da inferência.
Visão Técnica
A investigação sobre interpretabilidade atribuiu grande parte desta capacidade às “cabeças de indução” – circuitos de atenção que surgem durante o treino e realizam correspondências difusas de prefixos: procuram onde apareceu um símbolo semelhante e depois copiam o que se seguiu. Portanto, quando o prompt mostrar 'maçã -> fruta, cenoura -> vegetal', o modelo corresponde à estrutura e prevê o rótulo correto para o próximo item. Crucialmente, nenhum gradiente flui e nenhum peso é atualizado na inferência. Os exemplos simplesmente remodelam as ativações que alimentam a distribuição de probabilidade do próximo token.
Impacto Estratégico
Velocidade e escala
Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
Acesso e alcance
Ele expande o acesso entre idiomas e estilos de comunicação.
Decisões mais claras
As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
O futuro da aprendizagem em contexto
A expansão das janelas de contexto (agora centenas de milhares de tokens) empurra a aprendizagem no contexto para regimes de “muitas tentativas”, onde dezenas ou centenas de exemplos podem rivalizar com o ajuste fino para algumas tarefas, sem custo de treinamento. Espere uma integração mais estreita com a recuperação, para que exemplos relevantes sejam obtidos automaticamente e uma melhor teoria sobre quando a aprendizagem no contexto falha ou se distrai. Continuará a ser a forma rápida e barata de adaptar um modelo, complementando – e não substituindo – o ajuste fino para tarefas estáveis e de alto volume.
Implementação no mundo real
Dar ao chatbot três exemplos de tickets de suporte e suas categorias e, em seguida, fazer com que ele classifique um novo ticket da mesma maneira
Mostrando um modelo de dois pares antes/depois de texto confuso reformatado em JSON limpo para converter o resto
Colando alguns exemplos de descrições de produtos no tom da sua marca para que os novos combinem com o estilo
Demonstrar um problema matemático complicado trabalhado passo a passo para que o modelo resolva problemas semelhantes com o mesmo formato de raciocínio
Riscos e guarda-corpos
Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Roteiro de implementação
Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Janelas de contexto
Perguntas frequentes
What is In-Context Learning?
A aprendizagem no contexto é a capacidade surpreendente de grandes modelos de linguagem de escolher uma nova tarefa a partir de alguns exemplos colocados no prompt, sem qualquer retreinamento. É a razão pela qual você pode “ensinar” um modelo rapidamente, apenas mostrando a ele o que deseja.
O que muda fundamentalmente dentro do modelo durante a aprendizagem contextual?
A aprendizagem no contexto acontece inteiramente por inferência. Os exemplos no prompt moldam as ativações do modelo e as previsões do próximo token, mas nenhum peso é atualizado.
Por que a aprendizagem contextual é descrita como uma habilidade “emergente”?
A capacidade é fraca ou ausente em modelos pequenos e aumenta acentuadamente quando os modelos atingem uma escala muito grande, razão pela qual é chamada de emergente.
Qual mecanismo interno está mais associado à aprendizagem contextual em transformadores?
O trabalho de interpretabilidade identificou cabeças de indução – circuitos de atenção que descobrem onde um token semelhante apareceu e copiam o que veio a seguir – como um impulsionador central da aprendizagem no contexto.