Mit dem Guide verknüpftes Quiz · Mittel Ebene

ALiBi Position Bias Quiz

Prüfen Sie, wie ALiBi distanzbasierte Aufmerksamkeitsverzerrungen hinzufügt und längere Inferenzsequenzen ohne erlernte Absolutpositionstabellen unterstützt.

Verwandte FührungspfadeAlibi-Positions-Bias
Frage 1 von 8

Wofür steht ALiBi?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Wofür steht ALiBi?
    • Achtung bei linearen Verzerrungen
    • Adaptive lineare Vorspannung
    • Ausgerichtete bidirektionale Kodierung
    • Absolute lineare Indizierung
  2. Wie bestraft ALiBi entfernte Token?
    • Indem Einbettungen über ein festes Fenster hinaus auf Null gesetzt werden
    • Durch Hinzufügen einer Strafe proportional zum Abstand zwischen Abfrage- und Schlüsselpositionen
    • Durch das Erlernen einer separaten Einbettung für jede Position
    • Durch Rotieren der Abfrage- und Schlüsselvektoren
  3. Was ist der am meisten gefeierte praktische Vorteil von ALiBi?
    • Es macht einen Softmax überflüssig
    • Es sorgt dafür, dass die Aufmerksamkeit ständig im Gedächtnis bleibt
    • Es lässt sich gut auf Sequenzen extrapolieren, die länger sind als diejenigen, die im Training gesehen wurden
    • Es macht mehrere Aufmerksamkeitsköpfe überflüssig
  4. Was ist an der linearen Verzerrung zwischen den Aufmerksamkeitsköpfen anders?
    • Jeder Kopf hat genau die gleiche Neigung
    • Die Pisten werden im Training erlernt
    • Nur der erste Kopf erhält eine Voreingenommenheit
    • Jeder Kopf erhält seine eigene feste Neigung und bildet so eine geometrische Folge
  5. Wie viele gelernte Parameter fügt ALiBi im Vergleich zu herkömmlichen Positionseinbettungen hinzu?
    • Keine – die Bias-Steigungen sind fest und nicht erlernt
    • Eine pro Position
    • Einer pro Token
    • Zwei pro Aufmerksamkeitskopf
  6. Welches bekannte große Modell nutzte ALiBi für Positionsinformationen?
    • GPT-2
    • BLÜTE
    • BERT
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position