Questionário vinculado ao guia · Difícil Nível

Questionário de atenção latente com várias cabeças

Explore o cache latente compartilhado do MLA, reconstrução de classificação baixa, absorção de projeção, caminho de codificação posicional e economia de memória de inferência.

Caminhos de guia relacionadosAtenção latente multicabeça
Pergunta 1 de 8

Qual é o principal problema que a Atenção Latente Multi-Cabeça foi projetada para reduzir?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Qual é o principal problema que a Atenção Latente Multi-Cabeça foi projetada para reduzir?
    • O custo de memória do cache de valor-chave durante a inferência
    • Escassez de dados de treinamento
    • O número de parâmetros do modelo
    • Tamanho do vocabulário do tokenizador
  2. Como o MLA reduz o cache KV?
    • Exclui tokens mais antigos do cache
    • Ele armazena um pequeno vetor latente de baixa classificação em vez de chaves e valores completos por cabeça
    • Ele usa pesos de 1 bit para tudo
    • Ele ignora totalmente a atenção de alguns tokens
  3. Qual modelo introduziu pela primeira vez a Atenção Latente Multi-Head?
    • GPT-2
    • BERTO
    • DeepSeek-V2
    • LLaMA 1
  4. Por que o MLA precisa de um caminho 'desacoplado' separado para incorporações de posições rotativas?
    • Porque as posições são irrelevantes para a atenção
    • Porque RoPE duplica o vocabulário
    • Porque acelera o otimizador
    • Porque a rotação não pode ser dobrada na projeção ascendente absorvida como o resto da chave pode
  5. Aproximadamente quanta redução de memória do cache KV o DeepSeek-V2 relatou do MLA em comparação com a atenção padrão de vários cabeçotes?
    • Mais de 90%
    • Cerca de 5%
    • Exatamente 50%
    • Sem redução, apenas ganhos de velocidade
  6. Que benefício prático decorre diretamente do menor cache por token do MLA?
    • Eliminação da necessidade de qualquer GPU
    • Tamanhos de lote de inferência maiores e contextos mais longos no mesmo hardware
    • Tradução automática para todos os idiomas
    • Remoção da operação softmax
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections