Mistura de Profundidades
A Mistura de Profundidades (MoD) permite que um transformador gaste diferentes quantidades de computação em tokens diferentes, roteando apenas os tokens “importantes” através da computação pesada de cada camada.
Visão geral
It cuts the cost of processing easy tokens while keeping a fixed, predictable compute budget.
Mergulho profundo
Os transformadores padrão aplicam todas as camadas a todos os tokens, mesmo os triviais, como pontuação. Mixture of Depths, introduzido por Google DeepMind em 2024, adiciona um pequeno roteador em cada bloco que seleciona uma fração fixa top-k de tokens para passar pela autoatenção completa e cálculo MLP; o restante pula o bloco através de uma conexão residual. Como apenas k tokens são processados por camada, a computação total (FLOPs) é limitada e conhecida antecipadamente, ao contrário dos métodos anteriores de profundidade dinâmica que variavam de forma imprevisível. Isso torna o processamento em lote e a utilização de hardware eficientes. Os modelos treinados pelo MoD podem corresponder à qualidade de um transformador de linha de base usando menos FLOPs por passagem direta ou alcançar qualidade superior na mesma computação, e a ideia se compõe naturalmente com a Mistura de Especialistas para fornecer modelos 'MoDE' que roteiam em profundidade e largura.
Visão Técnica
Em cada bloco MoD, um roteador linear aprendido pontua cada token e mantém o top-k por pontuação; os tokens selecionados passam pela atenção e pelo MLP, enquanto os tokens não selecionados são transportados inalterados pelo caminho residual. Usar um top-k fixo (em vez de um limite por token) torna o gráfico de computação estático e as formas do tensor constantes, o que é amigável ao hardware. O roteador é treinado com o restante da rede, e a geração causal usa preditores auxiliares para que as decisões de roteamento não espiem tokens futuros.
Impacto Estratégico
Velocidade e escala
Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
Acesso e alcance
Ele expande o acesso entre idiomas e estilos de comunicação.
Decisões mais claras
As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
O futuro da mistura de profundidades
A computação condicional é uma alavanca importante para a eficiência à medida que os modelos são dimensionados, e o MoD é um exemplo inicial e claro. Espere uma integração mais profunda com a mistura de especialistas (roteamento tanto em profundidade quanto em especialistas), orçamentos adaptativos que diminuem para entradas fáceis e roteadores aprendidos que identificam melhor quais tokens realmente precisam de processamento profundo. À medida que os custos de inferência dominam a economia de implantação, as técnicas que permitem aos modelos “pensar mais” apenas quando necessário, mantendo ao mesmo tempo uma latência previsível, provavelmente se tornarão padrão em arquiteturas de grande escala.
Implementação no mundo real
Reduzindo os FLOPs necessários para processar documentos longos, ignorando a computação profunda em tokens de preenchimento
Treinar um modelo que corresponda à qualidade da linha de base com computação mais baixa, reduzindo o custo de serviço
Combinação com Mixture-of-Experts (MoDE) para rotear tanto a profundidade da camada quanto a escolha do especialista
Manter a latência fixa e previsível por token porque o orçamento de computação por camada é fixado antecipadamente
Riscos e guarda-corpos
Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Roteiro de implementação
Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture of Depths quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Agregação de mistura de agentes
Perguntas frequentes
What is Mixture of Depths?
A Mistura de Profundidades (MoD) permite que um transformador gaste diferentes quantidades de computação em tokens diferentes, roteando apenas os tokens “importantes” através da computação pesada de cada camada. Ele reduz o custo de processamento de tokens fáceis, ao mesmo tempo que mantém um orçamento de computação fixo e previsível.
O que a mistura de profundidades varia entre os tokens?
O MoD roteia apenas alguns tokens através da computação pesada de cada camada, de modo que tokens diferentes obtenham efetivamente profundidades diferentes.
Como o MoD mantém seu orçamento de computação previsível?
A escolha de um top-k fixo de tokens por bloco limita os FLOPs e mantém as formas do tensor constantes, o que é amigável ao hardware.
O que acontece com os tokens que o roteador NÃO seleciona em um determinado bloco?
Os tokens não selecionados ignoram a computação do bloco e são transportados inalterados pelo caminho residual.
Quem introduziu a Mistura de Profundidades?
A mistura de profundidades foi introduzida por Google DeepMind em um artigo de 2024 sobre computação de transformador dinâmico.
O que a combinação do MoD com a Mistura de Especialistas produz?
A combinação do roteamento profundo com o roteamento especializado produz modelos 'MoDE' que condicionam a computação em camadas e especialistas.