ガイド連動クイズ · 中 レベル

長い文脈に関するクイズの位置補間

位置補間によって RoPE 位置がどのように再スケーリングされるか、外挿によって注意が不安定になる理由、およびそのソースが何を評価したかを確認します。

関連するガイドパス長いコンテキストの位置補間
質問 1 の 8

位置補間の背後にある中心的な考え方は何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 位置補間の背後にある中心的な考え方は何ですか?
    • モデルがすでにトレーニングされている範囲に新しい位置インデックスを詰め込む
    • 長さごとにまったく新しいモデルをゼロからトレーニングする
    • 位置情報を完全に削除
    • トークンを重要度で並べ替える
  2. ロングポジションへの単純な外挿はなぜ失敗するのでしょうか?
    • メモリ使用量が少なすぎる
    • 注意スコアが非常に大きく不安定な値にまで爆発する可能性があります
    • 常に同じトークンを返します
    • 別のトークナイザーが必要です
  3. LLaMA を 32K に拡張するには、元の PI 作業でどのくらいの微調整が必要でしたか?
    • 微調整は一切なし
    • 約100万歩
    • 約1,000歩
    • 完全な事前トレーニング実行
  4. コンテキストを係数 s で拡張する場合、PI は位置 m をどのように変換しますか?
    • m から m 回 s にマッピングします。
    • m を m の 2 乗にマッピングします
    • m は変更されないままになります
    • m を s で割った m にマッピングします。
  5. PI は YaRN のような後の手法にどのような影響を与えましたか?
    • 周波数を意識した手法を改善するためのベースラインとなりました
    • それは放棄され、引用されることはありませんでした
    • Transformer アーキテクチャを置き換えました
    • 画像モデルにのみ適用されます
  6. 位置補間は主にどの位置エンコーディングを対象としていますか?
    • ワンホットエンコーディング
    • RoPE (回転位置埋め込み)
    • Word2Vec のベクトル
    • バッグオブワード数のカウント
  7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
    • 2
    • 8
    • 16
    • 32
  8. With extension factor s = 16, where does PI map original position m = 16,000?
    • Position 16,000
    • Position 256,000
    • Position 32,000
    • Position 1,000