引導式測驗 · 硬 等級
YaRN 和上下文長度擴展測驗
檢查 YaRN 如何調整 RoPE 頻率、保留局部細節、縮放注意力溫度並透過微調擴展上下文。
問題 1 的 8
YaRN 修改了什麼位置編碼方法來擴展上下文?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- YaRN 修改了什麼位置編碼方法來擴展上下文?
- 旋轉位置嵌入 (RoPE)
- 絕對是正弦嵌入
- 學習位置查找表
- 僅相對偏差矩陣
- 當 RoPE 模型看到的序列比其訓練長度長時,會出現什麼問題?
- 分詞器崩潰
- 旋轉角度進入看不見的範圍並且效能崩潰
- 模型僅輸出零
- 梯度恰好變成 1
- YaRN 如何處理不同的 RoPE 頻率維度?
- 它平等地插值所有維度
- 它刪除了高頻維度
- 它插入低頻維度,同時很大程度上保留高頻維度
- 它隨機化每個維度
- 除了重新調整頻率之外,YaRN 還應用了哪些額外調整?
- 一個新的分詞器
- 層數加倍
- 刪除圖層標準化
- 注意溫度(softmax 縮放)調整
- 與樸素插值相比,YaRN 的關鍵實際優勢是什麼?
- 它以更少的微調數據和步驟達到長上下文
- 它根本不需要模型
- 僅適用於 512 個代幣以下
- 它消除了對 GPU 的需求
- 為什麼所有 RoPE 頻率的簡單線性內插法都是有害的?
- 它只影響偏置項
- 它壓縮編碼局部細節的高頻維度
- 它使模型更大
- 它改變詞彙量
- In RoPE, which vectors receive position-dependent rotations?
- Only the value vectors
- Only the model’s token IDs
- The query and key vectors
- The optimizer’s gradient and momentum
- What does YaRN’s attention-temperature adjustment address when context length is extended?
- The number of GPU layers
- The dimensions of the token vocabulary
- The weight decay coefficient
- Changes in attention entropy or softmax sharpness caused by the longer context