Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Figyelemmechanizmusok kvíz
Test query-key-value attention, softmax scaling, parallel heads, dense attention cost, weighted-value calculations, and causal masking for generation.
kérdés 1 -ból 8
What does token attention combine when forming an output representation?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- What does token attention combine when forming an output representation?
- Permanent copies of the entire conversation on disk
- Value information from allowed positions using computed weights
- Only manually chosen keywords with no learned scores
- A translation dictionary that removes every other token
- Melyik mérföldkőnek számító 2017-es újság mutatta be a transzformátor architektúrát?
- „Mély maradék tanulás a képfelismeréshez”
- "Játssz Atarival mélyen megerősített tanulással"
- "Csak a figyelem kell"
- „Generatív ellenséges hálózatok”
- Mi az a három vektor, amelyet az egyes figyelemjelzőkre számítanak ki?
- Lekérdezés, kulcs és érték
- Bemenet, kimenet és torzítás
- Átlag, medián és mód
- Kódoló, dekódoló és veszteség
- A softmax(QK^T / √d_k) V képletben miért kell osztani √d_k-val?
- Az eredmény egész számokká alakítása
- Negatív számok eltávolításához
- Hogy a modell GPU-n fusson
- Hogy a dot-product pontszámok ne legyenek túl nagyok a softmax előtt
- Why does dense self-attention involve growing pairwise work for very long token sequences?
- Mert új adatokat kell letöltenie az internetről
- Mert a hosszabb szöveg mindig ritkább szavakat tartalmaz
- Mivel a költség a sorozat hosszának négyzetével nő (O(n²))
- Mert átvált egy lassabb programozási nyelvre
- What capacity does multi-head attention provide through separate learned projections?
- A guarantee that every head has one unique named meaning
- Several attention representations that can capture different relationships in parallel
- Removal of every token embedding
- A reduction of vocabulary size by definition
- In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
- Nyolc
- Négy
- Kettő
- Három
- What does a causal attention mask prevent in an autoregressive text decoder?
- Using later token positions when forming the current position's representation
- Using any previous token
- Computing any query or key vectors
- Learning all model parameters