Útmutatóhoz kapcsolódó kvíz · Közepes Szint
ALiBi pozíció elfogultság kvíz
Check how ALiBi adds distance-based attention biases and supports longer inference sequences without learned absolute-position tables.
kérdés 1 -ból 8
Mit jelent az ALiBi?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit jelent az ALiBi?
- Figyelem a lineáris torzításokkal
- Adaptív lineáris torzítás
- Igazított kétirányú kódolás
- Abszolút lineáris indexelés
- Hogyan bünteti az ALiBi a távoli tokeneket?
- A rögzített ablakon túli beágyazások nullázásával
- A lekérdezés és a kulcspozíciók távolságával arányos büntetés hozzáadásával
- Minden pozícióhoz külön beágyazás megtanulásával
- A lekérdezés és a kulcsvektorok elforgatásával
- Mi az ALiBi leghíresebb gyakorlati előnye?
- Kiküszöböli a softmax szükségességét
- Ezáltal a figyelem állandó memóriában fut
- Jól extrapolál az edzésen látottaknál hosszabb sorozatokra
- Megszünteti a több figyelemfelkeltő fej szükségességét
- Miben különbözik a figyelmi fejek lineáris torzítása?
- Mindegyik fej pontosan ugyanazon a lejtőn osztozik
- A lejtőket az edzés során tanuljuk meg
- Csak az első fej kap torzítást
- Mindegyik fejnek megvan a maga rögzített meredeksége, amely geometriai sorozatot alkot
- A hagyományos pozíciós beágyazásokhoz képest az ALiBi hány tanult paramétert ad hozzá?
- Nincs – a torzítási lejtők rögzítettek, nem tanultak
- Pozíciónként egy
- Tokenenként egy
- Figyelemfelkeltő fejenként kettő
- Melyik jól ismert nagy modell használt ALiBi-t pozícióinformációkhoz?
- GPT-2
- BLOOM
- BERT
- Word2Vec
- At what stage does ALiBi apply its distance-based bias?
- To token IDs before they enter the embedding table
- To the final vocabulary probabilities after decoding
- To query-key attention scores before the softmax
- To the training labels after loss calculation
- Why can ALiBi support inference on sequences longer than those used in training?
- It removes the need for attention at longer lengths
- It automatically retrains the model while generating
- It stores a complete answer for every possible sequence length
- Its distance-based bias does not require a separately learned embedding for every absolute position