Útmutatóhoz kapcsolódó kvíz · Közepes Szint

ALiBi pozíció elfogultság kvíz

Check how ALiBi adds distance-based attention biases and supports longer inference sequences without learned absolute-position tables.

Kapcsolódó útmutató utakAlibi pozíció elfogultság
kérdés 1 -ból 8

Mit jelent az ALiBi?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit jelent az ALiBi?
    • Figyelem a lineáris torzításokkal
    • Adaptív lineáris torzítás
    • Igazított kétirányú kódolás
    • Abszolút lineáris indexelés
  2. Hogyan bünteti az ALiBi a távoli tokeneket?
    • A rögzített ablakon túli beágyazások nullázásával
    • A lekérdezés és a kulcspozíciók távolságával arányos büntetés hozzáadásával
    • Minden pozícióhoz külön beágyazás megtanulásával
    • A lekérdezés és a kulcsvektorok elforgatásával
  3. Mi az ALiBi leghíresebb gyakorlati előnye?
    • Kiküszöböli a softmax szükségességét
    • Ezáltal a figyelem állandó memóriában fut
    • Jól extrapolál az edzésen látottaknál hosszabb sorozatokra
    • Megszünteti a több figyelemfelkeltő fej szükségességét
  4. Miben különbözik a figyelmi fejek lineáris torzítása?
    • Mindegyik fej pontosan ugyanazon a lejtőn osztozik
    • A lejtőket az edzés során tanuljuk meg
    • Csak az első fej kap torzítást
    • Mindegyik fejnek megvan a maga rögzített meredeksége, amely geometriai sorozatot alkot
  5. A hagyományos pozíciós beágyazásokhoz képest az ALiBi hány tanult paramétert ad hozzá?
    • Nincs – a torzítási lejtők rögzítettek, nem tanultak
    • Pozíciónként egy
    • Tokenenként egy
    • Figyelemfelkeltő fejenként kettő
  6. Melyik jól ismert nagy modell használt ALiBi-t pozícióinformációkhoz?
    • GPT-2
    • BLOOM
    • BERT
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position