Gids-gekoppelde quiz · Middelmatig Niveau
ALiBi Positiebias Quiz
Bekijk hoe ALiBi op afstand gebaseerde aandachtsbias toevoegt en langere gevolgtrekkingsreeksen ondersteunt zonder aangeleerde absolute-positietabellen.
Vraag 1 van 8
Waar staat ALiBi voor?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Waar staat ALiBi voor?
- Aandacht met lineaire vooroordelen
- Adaptieve lineaire bias
- Uitgelijnde bidirectionele codering
- Absoluut lineaire indexering
- Hoe bestraft ALiBi verre tokens?
- Door inbedding buiten een vast venster op nul te zetten
- Door een boete toe te voegen die evenredig is aan de afstand tussen de vraag en de sleutelposities
- Door voor iedere functie een aparte inbedding te leren
- Door de query- en sleutelvectoren te roteren
- Wat is het meest gevierde praktische voordeel van ALiBi?
- Het elimineert de noodzaak van een softmax
- Het zorgt ervoor dat de aandacht voortdurend in het geheugen blijft hangen
- Het extrapoleert goed naar reeksen die langer zijn dan die tijdens de training
- Het elimineert de noodzaak voor meerdere aandachtshoofden
- Wat is er anders aan de lineaire bias tussen aandachtshoofden?
- Elke kop deelt exact dezelfde helling
- De pistes leer je tijdens de training
- Alleen de eerste kop krijgt een bias
- Elke kop krijgt zijn eigen vaste helling, die een geometrische reeks vormt
- Hoeveel geleerde parameters voegt ALiBi toe, vergeleken met traditionele positionele inbedding?
- Geen – de bias-hellingen zijn vast en niet aangeleerd
- Eén per positie
- Eén per teken
- Twee per aandachtshoofd
- Welk bekende grote model gebruikte ALiBi voor positie-informatie?
- GPT-2
- BLOEI
- BERT
- Woord2Vec
- At what stage does ALiBi apply its distance-based bias?
- To token IDs before they enter the embedding table
- To the final vocabulary probabilities after decoding
- To query-key attention scores before the softmax
- To the training labels after loss calculation
- Why can ALiBi support inference on sequences longer than those used in training?
- It removes the need for attention at longer lengths
- It automatically retrains the model while generating
- It stores a complete answer for every possible sequence length
- Its distance-based bias does not require a separately learned embedding for every absolute position