Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Csoportos lekérdezés Figyelem Kvíz
Review how grouped-query attention shares key/value heads, reduces generation-time cache costs, and can be obtained from existing checkpoints.
kérdés 1 -ból 8
A Csoportos lekérdezés Figyelem funkcióban mi van megosztva a lekérdezési fejek csoportja között?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- A Csoportos lekérdezés Figyelem funkcióban mi van megosztva a lekérdezési fejek csoportja között?
- A kulcs- és értékfejek
- Csak a kimeneti vetítés
- A bemeneti beágyazások
- A tanulási arány
- A GQA melyik két véglet közötti középútként írható le leginkább?
- Konvolúció és figyelem
- Teljes többfejes figyelem és több lekérdezés figyelem
- FP32 és FP8 pontosság
- Csak kódoló és csak dekódoló modellek
- A következtetés melyik részét teszi elsősorban olcsóbbá a GQA?
- A prompt tokenizálása
- Az edzési veszteség számítása
- A KV gyorsítótár és sávszélessége a generálás során
- Az utolsó softmax a szókincs felett
- Ha egy modellnek 32 lekérdezési feje és 8 KV csoportja van, akkor a KV gyorsítótár nagyjából milyen tényezővel csökken?
- Körülbelül 32x
- Kb 2x
- Nincs csökkentés
- Kb 4x
- What quality/speed tradeoff did the GQA paper report in its experiments?
- Quality close to MHA with inference speed closer to MQA
- Lower quality and slower inference than both
- Exactly the same latency and quality for every model
- A result only on image classification
- Hogyan alakítják át gyakran a meglévő többfejes modelleket GQA-vá?
- Az összes figyelemréteg törlésével
- A meglévő ellenőrzőponttól egy rövid „felkészítő” lépéssel
- Másik tokenizátorra váltva
- Egyáltalán nem konvertálhatók
- Which task families did the GQA paper evaluate?
- Image segmentation and object detection
- Speech synthesis and speaker verification
- Language modeling and machine translation
- Molecular generation and toxicity prediction
- How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
- kb 50%
- About 100%
- No additional training compute
- kb 5%