Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Csoportos lekérdezés Figyelem Kvíz

Review how grouped-query attention shares key/value heads, reduces generation-time cache costs, and can be obtained from existing checkpoints.

Kapcsolódó útmutató utakCsoportos lekérdezés Figyelem
kérdés 1 -ból 8

A Csoportos lekérdezés Figyelem funkcióban mi van megosztva a lekérdezési fejek csoportja között?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. A Csoportos lekérdezés Figyelem funkcióban mi van megosztva a lekérdezési fejek csoportja között?
    • A kulcs- és értékfejek
    • Csak a kimeneti vetítés
    • A bemeneti beágyazások
    • A tanulási arány
  2. A GQA melyik két véglet közötti középútként írható le leginkább?
    • Konvolúció és figyelem
    • Teljes többfejes figyelem és több lekérdezés figyelem
    • FP32 és FP8 pontosság
    • Csak kódoló és csak dekódoló modellek
  3. A következtetés melyik részét teszi elsősorban olcsóbbá a GQA?
    • A prompt tokenizálása
    • Az edzési veszteség számítása
    • A KV gyorsítótár és sávszélessége a generálás során
    • Az utolsó softmax a szókincs felett
  4. Ha egy modellnek 32 lekérdezési feje és 8 KV csoportja van, akkor a KV gyorsítótár nagyjából milyen tényezővel csökken?
    • Körülbelül 32x
    • Kb 2x
    • Nincs csökkentés
    • Kb 4x
  5. What quality/speed tradeoff did the GQA paper report in its experiments?
    • Quality close to MHA with inference speed closer to MQA
    • Lower quality and slower inference than both
    • Exactly the same latency and quality for every model
    • A result only on image classification
  6. Hogyan alakítják át gyakran a meglévő többfejes modelleket GQA-vá?
    • Az összes figyelemréteg törlésével
    • A meglévő ellenőrzőponttól egy rövid „felkészítő” lépéssel
    • Másik tokenizátorra váltva
    • Egyáltalán nem konvertálhatók
  7. Which task families did the GQA paper evaluate?
    • Image segmentation and object detection
    • Speech synthesis and speaker verification
    • Language modeling and machine translation
    • Molecular generation and toxicity prediction
  8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
    • kb 50%
    • About 100%
    • No additional training compute
    • kb 5%