ガイド連動クイズ · 中 レベル

ロータリー位置埋め込みクイズ

RoPE がクエリ ベクトルとキー ベクトルを回転して位置をエンコードする方法を評価し、その相対位置プロパティをロングコンテキスト スケーリング メソッドと区別します。

関連するガイドパスロータリー位置の埋め込み
質問 1 の 8

RoPE はどのようにして位置情報をトランスに注入しますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. RoPE はどのようにして位置情報をトランスに注入しますか?
    • クエリとキー ベクトル内の次元のペアを位置に依存した角度で回転することによって
    • 入力エンベディングに固定ベクトルを追加することによって
    • トークンをランダムに並べ替えることにより
    • 位置番号をテキストとして追加する
  2. RoPE が適用された後、2 つのトークン間の注意スコアは主に次の要素に依存します。
    • 絶対的な位置のみ
    • それらの相対距離 (m マイナス n)
    • 語彙のサイズ
    • バッチサイズ
  3. What training-efficiency comparison did the YaRN paper report for context extension?
    • Exactly the same data and steps as all prior methods
    • No fine-tuning or training data of any kind
    • About 10x fewer tokens and 2.5x fewer training steps than prior methods
    • A fixed 100x increase in output tokens
  4. RoPE では、異なる次元のペアが異なる周波数で回転するのはなぜですか?
    • いくつかの次元をスキップしてメモリを節約するには
    • モデルの出力をランダム化するには
    • すべてのペアが同じ角度を使用する必要があるため、
    • 局所的な秩序と長距離位置の両方を捕捉するため
  5. What is the goal of techniques such as Position Interpolation and YaRN for RoPE-based models?
    • Extend the usable context length beyond the original training window using additional scaling/fine-tuning methods
    • Guarantee accurate recall at any sequence length with no evaluation
    • Remove position information from attention
    • Replace all token embeddings with absolute learned vectors
  6. Does standard RoPE require learned absolute-position vectors to inject position into query and key representations?
    • Yes; it adds one learned vector for every possible sequence position
    • No; it applies position-dependent rotations to paired query/key dimensions
    • It removes query and key vectors entirely
    • It only adds position to value vectors
  7. What does standard RoPE alone guarantee about a model’s context length?
    • Unlimited accurate context at every position
    • A fixed context of exactly 128 tokens
    • It does not by itself guarantee reliable use beyond the trained context length
    • Removal of the attention mechanism
  8. What extended context length did the Position Interpolation paper report for its LLaMA evaluations?
    • Exactly 1,000 tokens with no position changes
    • Unlimited context with no fine-tuning
    • Up to 2 million tokens for all models
    • Up to 32,768 tokens with minimal fine-tuning