Test legat de ghid · Mediu Nivel

ALiBi Position Bias Quiz

Verificați cum ALiBi adaugă distorsiuni de atenție bazate pe distanță și acceptă secvențe de inferență mai lungi fără tabele de poziții absolute învățate.

Căi de ghidare aferentePrejudecăți de poziție alibi
Întrebare 1 de 8

Ce înseamnă ALiBi?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce înseamnă ALiBi?
    • Atenție la prejudecăți liniare
    • Bias liniar adaptiv
    • Codificare bidirecțională aliniată
    • Indexare liniară absolută
  2. Cum penalizează ALiBi jetoanele îndepărtate?
    • Prin eliminarea înglobărilor dincolo de o fereastră fixă
    • Prin adăugarea unei penalități proporționale cu distanța dintre interogare și pozițiile cheie
    • Învățând o încorporare separată pentru fiecare poziție
    • Prin rotirea vectorilor de interogare și cheie
  3. Care este cel mai celebru avantaj practic al ALiBi?
    • Elimină necesitatea unui softmax
    • Face atenția să curgă în memoria constantă
    • Se extrapolează bine la secvențe mai lungi decât cele văzute la antrenament
    • Îndepărtează necesitatea mai multor capete de atenție
  4. Ce este diferit în privința părtinirii liniare între capetele de atenție?
    • Fiecare cap are exact aceeași pantă
    • Pantele se învață în timpul antrenamentului
    • Doar primul cap primește părtinire
    • Fiecare cap primește propria panta fixă, formând o secvență geometrică
  5. În comparație cu înglobările poziționale tradiționale, ALiBi adaugă câți parametri învățați?
    • Niciuna — pantele de părtinire sunt fixe, nu sunt învățate
    • Una pe poziție
    • Unul pe jeton
    • Două pe cap de atenție
  6. Ce model mare bine-cunoscut a folosit ALiBi pentru informații despre poziție?
    • GPT-2
    • FLORI
    • BERT
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position