Test de atenție cu interogări grupate

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. În Gruped-Query Attention, ce este împărțit între un grup de capete de interogare?
   • Capetele cheie și valoare
   • Numai proiecția de ieșire
   • Înglobările de intrare
   • Rata de învățare
2. GQA este cel mai bine descris ca o cale de mijloc între care două extreme?
   • Convoluție și atenție
   • Atenție completă cu mai multe capete și atenție cu mai multe interogări
   • Precizie FP32 și FP8
   • Modele numai cu codificator și numai cu decodor
3. Ce parte a inferenței face GQA în primul rând mai ieftin?
   • Tokenizarea promptului
   • Calculul pierderii antrenamentului
   • Memoria cache KV și lățimea de bandă în timpul generării
   • Softmax final peste vocabular
4. Dacă un model are 32 de capete de interogare și 8 grupuri KV, memoria cache KV este redusă cu aproximativ ce factor?
   • Aproximativ 32x
   • Cam de 2x
   • Nicio reducere
   • Cam de 4x
5. What quality/speed tradeoff did the GQA paper report in its experiments?
   • Quality close to MHA with inference speed closer to MQA
   • Lower quality and slower inference than both
   • Exactly the same latency and quality for every model
   • A result only on image classification
6. Cum se convertesc adesea modelele existente cu mai multe capete în GQA?
   • Prin ștergerea tuturor straturilor de atenție
   • Cu un scurt pas de „instruire” de la punctul de control existent
   • Prin trecerea la un alt tokenizer
   • Ele nu pot fi convertite deloc
7. Which task families did the GQA paper evaluate?
   • Image segmentation and object detection
   • Speech synthesis and speaker verification
   • Language modeling and machine translation
   • Molecular generation and toxicity prediction
8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
   • Aproximativ 50%
   • About 100%
   • No additional training compute
   • Aproximativ 5%