引導式測驗 · 中等 等級

長上下文測驗的位置內插

檢查位置插值如何重新調整 RoPE 位置、為什麼外推會破壞注意力穩定性以及其來源評估的內容。

相關引導路徑長上下文的位置插值
問題 1 的 8

位置插值背後的核心思想是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 位置插值背後的核心思想是什麼?
    • 將新的位置索引壓縮到模型已經訓練的範圍內
    • 為每個長度從頭開始訓練一個全新的模型
    • 完全刪除位置訊息
    • 依重要性對標記進行排序
  2. 為什麼對更長頭寸的天真推斷會失敗?
    • 它使用的記憶體太少
    • 它可以將注意力分數提高到非常大且不穩定的值
    • 它總是返回相同的令牌
    • 它需要不同的標記器
  3. 原始 PI 工作大約需要多少微調才能將 LLaMA 擴展到 32K?
    • 完全沒有微調
    • 約100萬步
    • 約 1,000 步
    • 完整的預訓練運行
  4. 如果將上下文擴展一個因子 s,那麼 PI 如何變換位置 m?
    • 它將 m 映射到 m 乘 s
    • 它將 m 映射到 m 平方
    • m 不變
    • 它將 m 映射到 m 除以 s
  5. PI 如何影響後來的方法(例如 YaRN)?
    • 它成為頻率感知方法改進的基線
    • 它被放棄並且從未被引用
    • 它取代了 Transformer 架構
    • 它僅適用於圖像模型
  6. 位置內插主要針對哪種位置編碼?
    • 1.1.1 獨熱編碼
    • RoPE(旋轉位置嵌入)
    • Word2Vec 向量
    • 詞袋計數
  7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
    • 2
    • 8
    • 16
    • 32
  8. With extension factor s = 16, where does PI map original position m = 16,000?
    • Position 16,000
    • Position 256,000
    • Position 32,000
    • Position 1,000