Test legat de ghid · Greu Nivel

Test privind mecanismele de atenție

Test query-key-value attention, softmax scaling, parallel heads, dense attention cost, weighted-value calculations, and causal masking for generation.

Căi de ghidare aferenteMecanisme de atenție
Întrebare 1 de 8

What does token attention combine when forming an output representation?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. What does token attention combine when forming an output representation?
    • Permanent copies of the entire conversation on disk
    • Value information from allowed positions using computed weights
    • Only manually chosen keywords with no learned scores
    • A translation dictionary that removes every other token
  2. Care lucrare de reper din 2017 a introdus arhitectura transformatorului?
    • „Învățare reziduală profundă pentru recunoașterea imaginilor”
    • „Jucați Atari cu învățare prin consolidare profundă”
    • „Atenția este tot ce ai nevoie”
    • „Rețele adversare generative”
  3. Care sunt cei trei vectori calculați pentru fiecare jeton în atenție?
    • Interogare, cheie și valoare
    • Intrare, ieșire și părtinire
    • Medie, mediană și mod
    • Codificator, decodor și pierdere
  4. În formula softmax(QK^T / √d_k) V, de ce se împarte la √d_k?
    • Pentru a converti rezultatul în numere întregi
    • Pentru a elimina numerele negative
    • Pentru a face modelul să ruleze pe un GPU
    • Pentru a preveni ca scorurile de produs punctual să nu devină prea mari înainte de softmax
  5. Why does dense self-attention involve growing pairwise work for very long token sequences?
    • Pentru că trebuie să descarce date noi de pe internet
    • Pentru că textul mai lung conține întotdeauna cuvinte mai rare
    • Deoarece costul crește cu pătratul lungimii secvenței (O(n²))
    • Pentru că trece la un limbaj de programare mai lent
  6. What capacity does multi-head attention provide through separate learned projections?
    • A guarantee that every head has one unique named meaning
    • Several attention representations that can capture different relationships in parallel
    • Removal of every token embedding
    • A reduction of vocabulary size by definition
  7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
    • Opt
    • Patru
    • Doi
    • Trei
  8. What does a causal attention mask prevent in an autoregressive text decoder?
    • Using later token positions when forming the current position's representation
    • Using any previous token
    • Computing any query or key vectors
    • Learning all model parameters