Gids-gekoppelde quiz · Middelmatig Niveau

ALiBi Positiebias Quiz

Bekijk hoe ALiBi op afstand gebaseerde aandachtsbias toevoegt en langere gevolgtrekkingsreeksen ondersteunt zonder aangeleerde absolute-positietabellen.

Gerelateerde gidspadenAlibi-positiebias
Vraag 1 van 8

Waar staat ALiBi voor?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waar staat ALiBi voor?
    • Aandacht met lineaire vooroordelen
    • Adaptieve lineaire bias
    • Uitgelijnde bidirectionele codering
    • Absoluut lineaire indexering
  2. Hoe bestraft ALiBi verre tokens?
    • Door inbedding buiten een vast venster op nul te zetten
    • Door een boete toe te voegen die evenredig is aan de afstand tussen de vraag en de sleutelposities
    • Door voor iedere functie een aparte inbedding te leren
    • Door de query- en sleutelvectoren te roteren
  3. Wat is het meest gevierde praktische voordeel van ALiBi?
    • Het elimineert de noodzaak van een softmax
    • Het zorgt ervoor dat de aandacht voortdurend in het geheugen blijft hangen
    • Het extrapoleert goed naar reeksen die langer zijn dan die tijdens de training
    • Het elimineert de noodzaak voor meerdere aandachtshoofden
  4. Wat is er anders aan de lineaire bias tussen aandachtshoofden?
    • Elke kop deelt exact dezelfde helling
    • De pistes leer je tijdens de training
    • Alleen de eerste kop krijgt een bias
    • Elke kop krijgt zijn eigen vaste helling, die een geometrische reeks vormt
  5. Hoeveel geleerde parameters voegt ALiBi toe, vergeleken met traditionele positionele inbedding?
    • Geen – de bias-hellingen zijn vast en niet aangeleerd
    • Eén per positie
    • Eén per teken
    • Twee per aandachtshoofd
  6. Welk bekende grote model gebruikte ALiBi voor positie-informatie?
    • GPT-2
    • BLOEI
    • BERT
    • Woord2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position