Treinamento de previsão de vários tokens
Em vez de prever apenas o próximo token, o modelo é treinado para prever vários tokens futuros de uma só vez.
Visão geral
This sharpens learning signals and unlocks faster inference through self-speculative decoding.
Mergulho profundo
Os modelos de linguagem padrão são treinados com previsão do próximo token: dado um contexto, preveja o próximo token único. A previsão de vários tokens (MTP), popularizada por um artigo Meta de 2024 e adotada no DeepSeek-V3, adiciona cabeçotes de saída extra leves para que o modelo preveja simultaneamente o próximo token mais o 2º, 3º e 4º tokens à frente do mesmo estado oculto. Isso força a rede a planejar mais para o futuro e densifica o sinal de treinamento – cada posição agora contribui com vários termos de perda. Meta relatou ganhos especialmente grandes em codificação e raciocínio generativo, com modelos maiores se beneficiando mais. Crucialmente, as cabeças extras podem ser descartadas após o treinamento, de modo que o tamanho do modelo na implantação não precise aumentar.
Visão Técnica
O MTP anexa n cabeças de predição independentes no topo do tronco do transformador compartilhado; head k prevê o token na posição t+k a partir da representação na posição t. As perdas são somadas durante o treinamento. Na inferência, os cabeçotes auxiliares permitem a decodificação autoespeculativa: o modelo propõe vários tokens em uma passagem e depois os verifica, alcançando uma geração aproximadamente 3x mais rápida sem alterar a distribuição de saída.
Impacto Estratégico
Velocidade e escala
Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
Acesso e alcance
Ele expande o acesso entre idiomas e estilos de comunicação.
Decisões mais claras
As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
O futuro do treinamento de previsão multitoken
O MTP está se tornando um ingrediente padrão nas receitas de treinamento de fronteira porque melhora a qualidade e a velocidade de inferência com baixo custo. Espere uma integração mais estreita com decodificação especulativa, horizontes de previsão mais profundos e uso como objetivo auxiliar que melhora o planejamento de longo horizonte. Combinada com modelos de raciocínio, a previsão de vários passos à frente pode ajudar os modelos a simular internamente as consequências antes de se comprometerem com uma resposta.
Implementação no mundo real
DeepSeek-V3 usando uma objetiva MTP durante o pré-treinamento para aumentar a eficiência dos dados e permitir a decodificação especulativa
Modelos de geração de código de Meta mostrando ganhos de precisão em HumanEval e MBPP com a previsão de vários tokens
Decodificação autoespeculativa: elaboração de 3 a 4 tokens por encaminhamento e, em seguida, verificação de saída mais rápida e que preserva a distribuição
Preenchimento automático mais rápido em assistentes de codificação onde vários tokens plausíveis são propostos e verificados em uma única etapa
Riscos e guarda-corpos
Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Roteiro de implementação
Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Token Prediction Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Streaming especulativo e previsão de vários tokens
Perguntas frequentes
What is Multi-Token Prediction Training?
Em vez de prever apenas o próximo token, o modelo é treinado para prever vários tokens futuros de uma só vez. Isso aprimora os sinais de aprendizagem e desbloqueia inferências mais rápidas por meio da decodificação autoespeculativa.
O que a previsão de vários tokens adiciona em comparação com o treinamento padrão do próximo token?
O MTP adiciona cabeças de saída adicionais para que o modelo preveja o próximo token mais vários tokens mais à frente de um estado oculto.
Qual modelo usou notavelmente um objetivo de previsão de vários tokens no pré-treinamento?
DeepSeek-V3 adotou um objetivo de treinamento MTP para melhorar a eficiência dos dados e permitir a decodificação especulativa.
Por que o MTP densifica o sinal de treinamento?
Prever vários tokens futuros significa que cada posição de token produz várias perdas de previsão, dando mais sinal de aprendizagem por token.
Que benefício de inferência os cabeçotes de previsão extras permitem?
Os cabeçotes auxiliares podem elaborar vários tokens por passagem que são então verificados, acelerando a geração sem alterar a distribuição de saída.
O que acontece com as cabeças auxiliares após o treino se você não precisar de acelerações?
As cabeças extras são opcionais na implantação; descartá-los mantém o modelo do mesmo tamanho de um modelo padrão de próximo token.