Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Figyelemmechanizmusok kvíz

Test query-key-value attention, softmax scaling, parallel heads, dense attention cost, weighted-value calculations, and causal masking for generation.

Kapcsolódó útmutató utakFigyelemmechanizmusok
kérdés 1 -ból 8

What does token attention combine when forming an output representation?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. What does token attention combine when forming an output representation?
    • Permanent copies of the entire conversation on disk
    • Value information from allowed positions using computed weights
    • Only manually chosen keywords with no learned scores
    • A translation dictionary that removes every other token
  2. Melyik mérföldkőnek számító 2017-es újság mutatta be a transzformátor architektúrát?
    • „Mély maradék tanulás a képfelismeréshez”
    • "Játssz Atarival mélyen megerősített tanulással"
    • "Csak a figyelem kell"
    • „Generatív ellenséges hálózatok”
  3. Mi az a három vektor, amelyet az egyes figyelemjelzőkre számítanak ki?
    • Lekérdezés, kulcs és érték
    • Bemenet, kimenet és torzítás
    • Átlag, medián és mód
    • Kódoló, dekódoló és veszteség
  4. A softmax(QK^T / √d_k) V képletben miért kell osztani √d_k-val?
    • Az eredmény egész számokká alakítása
    • Negatív számok eltávolításához
    • Hogy a modell GPU-n fusson
    • Hogy a dot-product pontszámok ne legyenek túl nagyok a softmax előtt
  5. Why does dense self-attention involve growing pairwise work for very long token sequences?
    • Mert új adatokat kell letöltenie az internetről
    • Mert a hosszabb szöveg mindig ritkább szavakat tartalmaz
    • Mivel a költség a sorozat hosszának négyzetével nő (O(n²))
    • Mert átvált egy lassabb programozási nyelvre
  6. What capacity does multi-head attention provide through separate learned projections?
    • A guarantee that every head has one unique named meaning
    • Several attention representations that can capture different relationships in parallel
    • Removal of every token embedding
    • A reduction of vocabulary size by definition
  7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
    • Nyolc
    • Négy
    • Kettő
    • Három
  8. What does a causal attention mask prevent in an autoregressive text decoder?
    • Using later token positions when forming the current position's representation
    • Using any previous token
    • Computing any query or key vectors
    • Learning all model parameters