Mit dem Guide verknüpftes Quiz · Mittel Ebene

Quiz zur Rotationspositionseinbettung

Bewerten Sie, wie RoPE Abfrage- und Schlüsselvektoren dreht, um die Position zu kodieren, und unterscheiden Sie seine relative Positionseigenschaft von Methoden zur Skalierung mit langem Kontext.

Verwandte FührungspfadeEinbettungen von Drehpositionen
Frage 1 von 8

Wie fügt RoPE Positionsinformationen in einen Transformator ein?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Wie fügt RoPE Positionsinformationen in einen Transformator ein?
    • Durch Drehen von Dimensionspaaren in den Abfrage- und Schlüsselvektoren um einen positionsabhängigen Winkel
    • Durch Hinzufügen eines festen Vektors zu den Eingabeeinbettungen
    • Durch zufälliges Neuanordnen der Token
    • Durch Anhängen der Positionsnummer als Text
  2. Nach der Anwendung von RoPE hängt der Aufmerksamkeitswert zwischen zwei Token hauptsächlich von Folgendem ab:
    • Nur ihre absoluten Positionen
    • Ihr relativer Abstand (m minus n)
    • Die Größe des Wortschatzes
    • Die Batchgröße
  3. What training-efficiency comparison did the YaRN paper report for context extension?
    • Exactly the same data and steps as all prior methods
    • No fine-tuning or training data of any kind
    • About 10x fewer tokens and 2.5x fewer training steps than prior methods
    • A fixed 100x increase in output tokens
  4. Warum rotieren verschiedene Dimensionspaare in RoPE mit unterschiedlichen Frequenzen?
    • Um Speicherplatz zu sparen, indem Sie einige Dimensionen überspringen
    • Um die Ausgaben des Modells zu randomisieren
    • Denn alle Paare müssen den gleichen Winkel verwenden
    • Um sowohl die feine lokale Ordnung als auch die Fernposition zu erfassen
  5. What is the goal of techniques such as Position Interpolation and YaRN for RoPE-based models?
    • Extend the usable context length beyond the original training window using additional scaling/fine-tuning methods
    • Guarantee accurate recall at any sequence length with no evaluation
    • Remove position information from attention
    • Replace all token embeddings with absolute learned vectors
  6. Does standard RoPE require learned absolute-position vectors to inject position into query and key representations?
    • Yes; it adds one learned vector for every possible sequence position
    • No; it applies position-dependent rotations to paired query/key dimensions
    • It removes query and key vectors entirely
    • It only adds position to value vectors
  7. What does standard RoPE alone guarantee about a model’s context length?
    • Unlimited accurate context at every position
    • A fixed context of exactly 128 tokens
    • It does not by itself guarantee reliable use beyond the trained context length
    • Removal of the attention mechanism
  8. What extended context length did the Position Interpolation paper report for its LLaMA evaluations?
    • Exactly 1,000 tokens with no position changes
    • Unlimited context with no fine-tuning
    • Up to 2 million tokens for all models
    • Up to 32,768 tokens with minimal fine-tuning