引導式測驗 · 中等 等級
長上下文測驗的位置內插
檢查位置插值如何重新調整 RoPE 位置、為什麼外推會破壞注意力穩定性以及其來源評估的內容。
問題 1 的 8
位置插值背後的核心思想是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 位置插值背後的核心思想是什麼?
- 將新的位置索引壓縮到模型已經訓練的範圍內
- 為每個長度從頭開始訓練一個全新的模型
- 完全刪除位置訊息
- 依重要性對標記進行排序
- 為什麼對更長頭寸的天真推斷會失敗?
- 它使用的記憶體太少
- 它可以將注意力分數提高到非常大且不穩定的值
- 它總是返回相同的令牌
- 它需要不同的標記器
- 原始 PI 工作大約需要多少微調才能將 LLaMA 擴展到 32K?
- 完全沒有微調
- 約100萬步
- 約 1,000 步
- 完整的預訓練運行
- 如果將上下文擴展一個因子 s,那麼 PI 如何變換位置 m?
- 它將 m 映射到 m 乘 s
- 它將 m 映射到 m 平方
- m 不變
- 它將 m 映射到 m 除以 s
- PI 如何影響後來的方法(例如 YaRN)?
- 它成為頻率感知方法改進的基線
- 它被放棄並且從未被引用
- 它取代了 Transformer 架構
- 它僅適用於圖像模型
- 位置內插主要針對哪種位置編碼?
- 1.1.1 獨熱編碼
- RoPE(旋轉位置嵌入)
- Word2Vec 向量
- 詞袋計數
- A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
- 2
- 8
- 16
- 32
- With extension factor s = 16, where does PI map original position m = 16,000?
- Position 16,000
- Position 256,000
- Position 32,000
- Position 1,000