Questionário de atenção multiconsulta

As respostas e explicações aparecem conforme você responde ao teste.

1. O que a Multi-Query Attention compartilha com todas as cabeças de atenção?
   • Um único conjunto de chaves e valores
   • As projeções de consulta
   • A temperatura softmax
   • Os pesos da camada de saída
2. Qual é o principal gargalo que o MQA aborda durante a geração autoregressiva?
   • Taxa de transferência de computação de ponto flutuante
   • Largura de banda da memória ao carregar o cache KV
   • O número de épocas de treinamento
   • Tamanho do vocabulário do tokenizador
3. Aproximadamente por que fator o MQA reduz o cache KV?
   • Pelo comprimento da sequência
   • Pelo tamanho do lote
   • Pelo número de cabeças de atenção
   • Isso não altera o tamanho do cache KV
4. Qual é a principal desvantagem do uso do MQA?
   • Inferência muito mais lenta
   • Ele não pode mais usar múltiplas cabeças
   • Requer muito mais dados de treinamento
   • Uma queda modesta na qualidade do modelo
5. Qual variante fica entre a atenção multi-head padrão e o MQA?
   • Atenção de consulta agrupada
   • Atenção à janela deslizante
   • Atenção instantânea
   • Atenção escassa
6. Quem propôs a atenção multiconsulta?
   • Geoffrey Hinton
   • Noam Shazeer
   • Yann LeCun
   • Andrej Karpatia
7. In Multi-Query Attention, what remains separate for each attention head?
   • The shared key projection
   • The shared value projection
   • The query projection
   • The token sequence itself
8. How does Grouped-Query Attention differ from standard MQA?
   • It shares query projections but gives every head separate keys and values
   • It removes attention and replaces it with a recurrent layer
   • It groups output vocabulary tokens instead of attention heads
   • It shares keys and values within several groups of query heads rather than across all heads at once