ガイド連動クイズ · ハード レベル

YaRN とコンテキスト長拡張に関するクイズ

YaRN が RoPE 周波数を調整し、局所的な詳細を保持し、注意温度を調整し、微調整してコンテキストを拡張する方法を確認します。

関連するガイドパス糸とコンテキストの長さの拡張
質問 1 の 8

YaRN はコンテキストを拡張するためにどの位置エンコーディング方法を変更しますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. YaRN はコンテキストを拡張するためにどの位置エンコーディング方法を変更しますか?
    • 回転位置エンベディング (RoPE)
    • 絶対正弦波埋め込み
    • 学習済み位置ルックアップテーブル
    • 相対バイアス行列のみ
  2. RoPE モデルがトレーニング長よりも長いシーケンスを認識すると何が問題になるのでしょうか?
    • トークナイザーがクラッシュする
    • 回転角度が目に見えない範囲に入り、パフォーマンスが崩壊する
    • モデルはゼロのみを出力します
    • グラデーションがちょうど 1 つになる
  3. YaRN はさまざまな RoPE 周波数次元をどのように処理しますか?
    • すべての次元を均等に補間します
    • 高周波寸法を削除します
    • 高周波の寸法をほとんど維持しながら、低周波の寸法を補間します。
    • あらゆる次元をランダム化します
  4. 周波数の再スケーリング以外に、YaRN はどのような追加調整を適用しますか?
    • 新しいトークナイザー
    • レイヤー数を2倍にする
    • レイヤー正規化の削除
    • 注目温度（ソフトマックススケーリング）調整
  5. 単純な補間に対する YaRN の主な実際的な利点は何ですか?
    • はるかに少ない微調整データと手順で長いコンテキストに到達します
    • モデルはまったく必要ありません
    • 512 トークン未満でのみ機能します
    • GPU が不要になります
  6. すべての RoPE 周波数の単純な線形補間が有害なのはなぜですか?
    • バイアス項にのみ影響します
    • 局所的な詳細をエンコードする高周波次元を圧縮します。
    • モデルが大きくなります
    • 語彙のサイズが変わります
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context