Ajuste de instrução
O ajuste de instruções é a etapa de treinamento que transforma um preditor de texto bruto em um modelo que realmente segue instruções como 'resuma isto' ou 'escreva uma resposta educada'. É o que faz um modelo básico parecer útil e orientável.
Mergulho profundo
Um modelo de linguagem base é treinado apenas para prever o próximo token no texto da web; portanto, se você digitar uma pergunta, ela poderá continuar com mais perguntas em vez de responder. O ajuste de instruções corrige isso. É uma forma de ajuste fino supervisionado: o modelo é treinado em muitos pares (instrução, resposta ideal) cobrindo milhares de tarefas – tradução, resumo, classificação, perguntas e respostas, codificação e muito mais. Ao ver repetidamente o mesmo padrão de instrução e depois resposta útil, o modelo aprende o comportamento geral de 'faça o que o usuário pede', e isso generaliza para instruções que nunca viu no treinamento. A abordagem foi estabelecida por volta de 2021 por trabalhos como FLAN, T0 e Instruções Naturais, e foi central para o InstructGPT de OpenAI, que ajustou o GPT-3 em um conjunto selecionado de prompts de instrução. É a base sobre a qual a maioria dos assistentes de bate-papo são construídos.
Visão Técnica
Mecanicamente, o ajuste de instruções é um aprendizado supervisionado padrão: minimize a diferença entre os tokens previstos do modelo e a resposta de referência, com gradientes atualizando os pesos. É diferente do RLHF (aprendizado por reforço com feedback humano), que vem depois e otimiza as preferências humanas usando um modelo de recompensa. A receita usual é em camadas: pré-treinamento, depois ajuste de instrução (SFT) para ensinar o acompanhamento de tarefas e, opcionalmente, RLHF para refinar o tom, a utilidade e a segurança. A diversidade de dados é mais importante do que o simples volume: a ampla cobertura de tarefas impulsiona a generalização.
Impacto Estratégico
Velocidade e escala
Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
Acesso e alcance
Ele expande o acesso entre idiomas e estilos de comunicação.
Decisões mais claras
As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
O futuro do ajuste de instruções
O campo está a mudar de conjuntos de dados gigantescos escritos à mão para dados de maior qualidade, parcialmente sintéticos – por vezes apenas alguns milhares de exemplos cuidadosamente escolhidos – depois de descobrir que a qualidade dos dados pode superar a quantidade. Espere mais ajuste de instruções específicas de domínio (médico, jurídico, codificação), conjuntos de instruções multilíngues e multimodais e pipelines automatizados que geram e filtram dados de instrução. O ajuste de instruções continuará sendo a ponte essencial entre um modelo bruto pré-treinado e um assistente utilizável, cada vez mais combinado com otimização de preferência para alinhamento.
Implementação no mundo real
Transformar um modelo básico no estilo GPT em um assistente de bate-papo que responde a perguntas em vez de repeti-las
FLAN-T5, ajustado em muitas tarefas para que possa seguir instruções nas quais nunca foi explicitamente treinado
InstructGPT, onde o GPT-3 foi ajustado para instruções em prompts selecionados para produzir respostas muito mais úteis
Construindo um assistente interno da empresa ajustando pares de instrução-resposta escritos por equipes jurídicas e de suporte
Riscos e guarda-corpos
Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Roteiro de implementação
Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Instruction Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Ajuste de prefixo
Perguntas frequentes
What is Instruction Tuning?
O ajuste de instruções é a etapa de treinamento que transforma um preditor de texto bruto em um modelo que realmente segue instruções como 'resuma isto' ou 'escreva uma resposta educada'. É o que faz um modelo básico parecer útil e orientável.
Como o ajuste de instrução difere do RLHF?
O ajuste de instrução é um aprendizado supervisionado nas respostas alvo. O RLHF vem depois e otimiza o modelo em relação às preferências humanas aprendidas.
Qual propriedade dos dados de ajuste de instrução mais impulsiona a capacidade de um modelo de seguir instruções novas e invisíveis?
Cobrir uma ampla variedade de tarefas ensina o comportamento geral de seguir instruções, que se generaliza para instruções nunca vistas no treinamento.
Qual é a ordem típica das etapas de treinamento de um assistente de chat moderno?
Os modelos são primeiro pré-treinados em texto bruto, depois ajustados com instruções para seguir as tarefas e, muitas vezes, refinados com RLHF para tom e segurança.