Questionário vinculado ao guia · Médio Nível

Questionário de mistura de profundidades

Teste o roteador de token aprendido do MoD, capacidade fixa top-k, caminho residual para tokens ignorados, formas estáticas e proteções de roteamento causal.

Caminhos de guia relacionadosMistura de profundidades
Pergunta 1 de 8

O que a mistura de profundidades varia entre os tokens?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. O que a mistura de profundidades varia entre os tokens?
    • Quanto cálculo (quais camadas) cada token recebe
    • O vocabulário usado
    • O conjunto de dados de treinamento
    • O idioma de saída
  2. Como o MoD mantém seu orçamento de computação previsível?
    • Ao descartar aleatoriamente metade dos pesos do modelo
    • Processando uma fração fixa de tokens top-k em cada bloco
    • Usando um modelo diferente para cada frase
    • Ao desabilitar totalmente a atenção
  3. O que acontece com os tokens que o roteador NÃO seleciona em um determinado bloco?
    • Eles são excluídos da sequência
    • Eles são enviados para um modelo separado
    • Eles saltam o bloco através da conexão residual, passando inalterados
    • Eles são convertidos em imagens
  4. Qual laboratório publicou a técnica Mixture of Depths?
    • OpenAI em 2019
    • Meta em 2015
    • Microsoft em 2012
    • Google DeepMind em 2024
  5. O que a combinação do MoD com a Mistura de Especialistas produz?
    • MoDE, que direciona tanto a profundidade quanto a escolha de especialistas
    • Um modelo sem parâmetros
    • Uma rede convolucional pura
    • Um sistema somente tokenizer
  6. Por que um top-k fixo é preferido em vez de um limite por token no MoD?
    • Faz com que o modelo produza texto aleatório
    • Ele mantém as formas do tensor estáticas, o que é eficiente em hardware
    • Elimina a necessidade de treinamento
    • Aumenta o tamanho do vocabulário
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens