Kvíz spojený s průvodcem · Střední úroveň
ALiBi kvíz zkreslení pozice
Zkontrolujte, jak ALiBi přidává zkreslení pozornosti na základě vzdálenosti a podporuje delší inferenční sekvence bez naučených tabulek absolutních pozic.
Otázka 1 z 8
Co znamená ALiBi?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co znamená ALiBi?
- Pozor s lineárními odchylkami
- Adaptivní lineární zkreslení
- Zarovnané obousměrné kódování
- Absolutní lineární indexování
- Jak ALiBi penalizuje vzdálené tokeny?
- Vynulováním vložení za pevným oknem
- Přidáním penalizace úměrné vzdálenosti mezi dotazem a klíčovými pozicemi
- Naučením samostatného vkládání pro každou pozici
- Otočením dotazu a klíčových vektorů
- Jaká je nejslavnější praktická výhoda ALiBi?
- Eliminuje to potřebu softmaxu
- Díky tomu pozornost běží v neustálé paměti
- Dobře se extrapoluje do sekvencí delších než ty, které lze vidět při tréninku
- Odstraňuje potřebu vícenásobné pozornosti
- V čem se liší lineární zkreslení napříč hlavami pozornosti?
- Každá hlava sdílí přesně stejný sklon
- Sjezdovky se učí během tréninku
- Pouze první hlava obdrží zaujatost
- Každá hlava má svůj vlastní pevný sklon, který tvoří geometrickou sekvenci
- V porovnání s tradičními pozičními vnořeními přidává ALiBi kolik naučených parametrů?
- Žádné – sklony zkreslení jsou pevné, nikoli naučené
- Jeden na pozici
- Jeden na token
- Dva na hlavu pozornosti
- Který známý velký model používal ALiBi pro informace o poloze?
- GPT-2
- BLOOM
- BERT
- Word2Vec
- At what stage does ALiBi apply its distance-based bias?
- To token IDs before they enter the embedding table
- To the final vocabulary probabilities after decoding
- To query-key attention scores before the softmax
- To the training labels after loss calculation
- Why can ALiBi support inference on sequences longer than those used in training?
- It removes the need for attention at longer lengths
- It automatically retrains the model while generating
- It stores a complete answer for every possible sequence length
- Its distance-based bias does not require a separately learned embedding for every absolute position