Questionário de atenção de consulta agrupada

As respostas e explicações aparecem conforme você responde ao teste.

1. Na atenção de consulta agrupada, o que é compartilhado entre um grupo de cabeçalhos de consulta?
   • As cabeças de chave e valor
   • A projeção de saída apenas
   • As incorporações de entrada
   • A taxa de aprendizagem
2. A GQA é melhor descrita como um meio termo entre quais dois extremos?
   • Convolução e atenção
   • Atenção total de múltiplas cabeças e atenção de múltiplas consultas
   • Precisão FP32 e FP8
   • Modelos somente codificador e somente decodificador
3. Que parte da inferência o GQA torna principalmente mais barata?
   • Tokenização do prompt
   • O cálculo da perda de treinamento
   • A memória cache KV e sua largura de banda durante a geração
   • O softmax final sobre o vocabulário
4. Se um modelo tiver 32 cabeças de consulta e 8 grupos KV, o cache KV será reduzido aproximadamente em que fator?
   • Cerca de 32x
   • Cerca de 2x
   • Sem redução
   • Cerca de 4x
5. What quality/speed tradeoff did the GQA paper report in its experiments?
   • Quality close to MHA with inference speed closer to MQA
   • Lower quality and slower inference than both
   • Exactly the same latency and quality for every model
   • A result only on image classification
6. Como os modelos multihead existentes são frequentemente convertidos para GQA?
   • Excluindo todas as camadas de atenção
   • Por uma curta etapa de 'atualização' do ponto de verificação existente
   • Mudando para um tokenizer diferente
   • Eles não podem ser convertidos de forma alguma
7. Which task families did the GQA paper evaluate?
   • Image segmentation and object detection
   • Speech synthesis and speaker verification
   • Language modeling and machine translation
   • Molecular generation and toxicity prediction
8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
   • Cerca de 50%
   • About 100%
   • No additional training compute
   • Cerca de 5%