引導式測驗 · 硬 等級

YaRN 和上下文長度擴展測驗

檢查 YaRN 如何調整 RoPE 頻率、保留局部細節、縮放注意力溫度並透過微調擴展上下文。

問題 1 的 8

YaRN 修改了什麼位置編碼方法來擴展上下文?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. YaRN 修改了什麼位置編碼方法來擴展上下文?
    • 旋轉位置嵌入 (RoPE)
    • 絕對是正弦嵌入
    • 學習位置查找表
    • 僅相對偏差矩陣
  2. 當 RoPE 模型看到的序列比其訓練長度長時,會出現什麼問題?
    • 分詞器崩潰
    • 旋轉角度進入看不見的範圍並且效能崩潰
    • 模型僅輸出零
    • 梯度恰好變成 1
  3. YaRN 如何處理不同的 RoPE 頻率維度?
    • 它平等地插值所有維度
    • 它刪除了高頻維度
    • 它插入低頻維度,同時很大程度上保留高頻維度
    • 它隨機化每個維度
  4. 除了重新調整頻率之外,YaRN 還應用了哪些額外調整?
    • 一個新的分詞器
    • 層數加倍
    • 刪除圖層標準化
    • 注意溫度(softmax 縮放)調整
  5. 與樸素插值相比,YaRN 的關鍵實際優勢是什麼?
    • 它以更少的微調數據和步驟達到長上下文
    • 它根本不需要模型
    • 僅適用於 512 個代幣以下
    • 它消除了對 GPU 的需求
  6. 為什麼所有 RoPE 頻率的簡單線性內插法都是有害的?
    • 它只影響偏置項
    • 它壓縮編碼局部細節的高頻維度
    • 它使模型更大
    • 它改變詞彙量
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context