引導式測驗 · 中等 等級
長上下文建模測驗
審查上下文視窗、注意力成本、位置敏感檢索、FlashAttention 以及有效上下文使用的評估。
問題 1 的 8
模型的「上下文視窗」指的是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 模型的「上下文視窗」指的是什麼?
- 一次可以處理的最大令牌數
- 聊天介面的螢幕尺寸
- 一次允許的使用者數
- 模型訓練了多久
- 為什麼標準的自註意力對於長輸入來說會變得昂貴?
- 它線性增長並且總是便宜
- 它的計算和記憶體隨著序列長度呈二次方增長
- 它無法讀取多個令牌
- 它僅適用於圖像
- 什麼是「迷失在中間」的問題?
- 模特兒們完全忘記了他們的訓練
- 模型只能讀取文件的中間部分
- 模型在長輸入的開頭和結尾回憶資訊比隱藏在中間的事實更好
- 模型將中間內容翻譯成另一種語言
- FlashAttention主要改進了什麼?
- 它使模型輸出更長的文本
- 它會自動添加更多訓練數據
- 它消除了任何關注的需要
- 它透過 IO 感知、平鋪計算減少記憶體瓶頸
- 旋轉位置嵌入 (RoPE) 在長上下文模型中發揮什麼作用?
- 它們對標記位置進行編碼,並透過插值幫助推廣到更長的序列
- 他們從輸入中刪除標記
- 他們在語言之間翻譯文本
- 他們儲存模型的權重
- 提示快取研究在相容請求之間重複使用什麼?
- 無論新查詢如何,最終答案
- 計算可重複使用提示段的注意力狀態
- 一組固定的 token ID,無需模型計算
- 模型的訓練數據
- 除了定位一個孤立的「針」事實之外,RULER 基準測試還增加了什麼?
- 僅影像分類
- 波形音訊轉錄
- 長上下文中的多跳追蹤和聚合等任務
- GPU 記憶體分配基準
- 為什麼在測量模型的有效上下文長度時要測試多種任務類型?
- 每個任務都使用相同的計算
- 廣告視窗保證所有任務正常進行
- 任務類型永遠不會影響情境的使用
- 模型可以處理簡單的檢索,但無法組合或追蹤長輸入中的信息