ガイド連動クイズ · ハード レベル

YaRN コンテキスト ウィンドウのスケーリング クイズ

YaRN 周波数帯域、遷移ブレンディング、注意温度、適応コスト、サポートされる長さとパフォーマンスの違いを確認します。

関連するガイドパスYarn コンテキスト ウィンドウのスケーリング
質問 1 の 8

YaRN はコンテキスト長を拡張するためにどのような位置エンコーディング スキームを変更しますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. YaRN はコンテキスト長を拡張するためにどのような位置エンコーディング スキームを変更しますか?
    • 回転位置エンベディング (RoPE)
    • 絶対正弦波埋め込み
    • 学習済み位置ルックアップテーブル
    • ALiBi 線形バイアス
  2. YaRN は、高周波と低周波の RoPE 寸法をどのように処理しますか?
    • 両方を均等に補間します
    • 高周波の次元を完全に除去します
    • 高周波の寸法のみを変更します
    • 高周波の寸法はほとんどそのままにし、低周波の寸法を補間します。
  3. How should YaRN's reported data and fine-tuning efficiency be interpreted?
    • As proof that no YaRN model ever needs training
    • As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
    • As a universal promise that every dataset size works equally well
    • As removal of the need for GPUs or inference computation
  4. 周波数を再スケーリングする以外に、YaRN は長距離の注意力を安定させるためにどのような追加調整を適用しますか?
    • ドロップアウトの増加
    • より大きな語彙
    • 注目温度（ソフトマックススケーリング）調整
    • グラデーションクリッピング
  5. What motivates evaluating a RoPE model before using a context far beyond its original training length?
    • The model necessarily becomes perfectly accurate at longer lengths
    • The context extension automatically reduces memory to zero
    • A larger window proves every passage is equally easy to retrieve
    • Positional and attention behavior may degrade outside the conditions it learned
  6. 単純な線形位置補間は、YaRN が維持しようとしているどの機能に悪影響を及ぼしますか?
    • 近くのトークン間の緻密なローカル関係
    • モデルの語彙サイズ
    • トークナイザーの速度
    • レイヤー数
  7. What happens in the transition region between YaRN's high- and low-frequency treatments?
    • Every dimension is assigned a random vocabulary token
    • All transition dimensions are deleted from attention
    • The scheme blends original and interpolated frequency treatment across the relevant dimensions
    • One identical scaling rule ignores frequency differences entirely
  8. What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
    • Whether the positional scheme can accept any coordinates at all
    • Reliable performance for every intended task and position within that window
    • The spelling of the model's name
    • A requirement that every inference request retrain all weights