Kvíz spojený s průvodcem · Střední úroveň

ALiBi kvíz zkreslení pozice

Zkontrolujte, jak ALiBi přidává zkreslení pozornosti na základě vzdálenosti a podporuje delší inferenční sekvence bez naučených tabulek absolutních pozic.

Související vodicí cestyPředpojatost alibistické pozice
Otázka 1 z 8

Co znamená ALiBi?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co znamená ALiBi?
    • Pozor s lineárními odchylkami
    • Adaptivní lineární zkreslení
    • Zarovnané obousměrné kódování
    • Absolutní lineární indexování
  2. Jak ALiBi penalizuje vzdálené tokeny?
    • Vynulováním vložení za pevným oknem
    • Přidáním penalizace úměrné vzdálenosti mezi dotazem a klíčovými pozicemi
    • Naučením samostatného vkládání pro každou pozici
    • Otočením dotazu a klíčových vektorů
  3. Jaká je nejslavnější praktická výhoda ALiBi?
    • Eliminuje to potřebu softmaxu
    • Díky tomu pozornost běží v neustálé paměti
    • Dobře se extrapoluje do sekvencí delších než ty, které lze vidět při tréninku
    • Odstraňuje potřebu vícenásobné pozornosti
  4. V čem se liší lineární zkreslení napříč hlavami pozornosti?
    • Každá hlava sdílí přesně stejný sklon
    • Sjezdovky se učí během tréninku
    • Pouze první hlava obdrží zaujatost
    • Každá hlava má svůj vlastní pevný sklon, který tvoří geometrickou sekvenci
  5. V porovnání s tradičními pozičními vnořeními přidává ALiBi kolik naučených parametrů?
    • Žádné – sklony zkreslení jsou pevné, nikoli naučené
    • Jeden na pozici
    • Jeden na token
    • Dva na hlavu pozornosti
  6. Který známý velký model používal ALiBi pro informace o poloze?
    • GPT-2
    • BLOOM
    • BERT
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position