引導式測驗 · 中等 等級

長上下文建模測驗

審查上下文視窗、注意力成本、位置敏感檢索、FlashAttention 以及有效上下文使用的評估。

相關引導路徑長上下文建模
問題 1 的 8

模型的「上下文視窗」指的是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 模型的「上下文視窗」指的是什麼?
    • 一次可以處理的最大令牌數
    • 聊天介面的螢幕尺寸
    • 一次允許的使用者數
    • 模型訓練了多久
  2. 為什麼標準的自註意力對於長輸入來說會變得昂貴?
    • 它線性增長並且總是便宜
    • 它的計算和記憶體隨著序列長度呈二次方增長
    • 它無法讀取多個令牌
    • 它僅適用於圖像
  3. 什麼是「迷失在中間」的問題?
    • 模特兒們完全忘記了他們的訓練
    • 模型只能讀取文件的中間部分
    • 模型在長輸入的開頭和結尾回憶資訊比隱藏在中間的事實更好
    • 模型將中間內容翻譯成另一種語言
  4. FlashAttention主要改進了什麼?
    • 它使模型輸出更長的文本
    • 它會自動添加更多訓練數據
    • 它消除了任何關注的需要
    • 它透過 IO 感知、平鋪計算減少記憶體瓶頸
  5. 旋轉位置嵌入 (RoPE) 在長上下文模型中發揮什麼作用?
    • 它們對標記位置進行編碼,並透過插值幫助推廣到更長的序列
    • 他們從輸入中刪除標記
    • 他們在語言之間翻譯文本
    • 他們儲存模型的權重
  6. 提示快取研究在相容請求之間重複使用什麼?
    • 無論新查詢如何,最終答案
    • 計算可重複使用提示段的注意力狀態
    • 一組固定的 token ID,無需模型計算
    • 模型的訓練數據
  7. 除了定位一個孤立的「針」事實之外,RULER 基準測試還增加了什麼?
    • 僅影像分類
    • 波形音訊轉錄
    • 長上下文中的多跳追蹤和聚合等任務
    • GPU 記憶體分配基準
  8. 為什麼在測量模型的有效上下文長度時要測試多種任務類型?
    • 每個任務都使用相同的計算
    • 廣告視窗保證所有任務正常進行
    • 任務類型永遠不會影響情境的使用
    • 模型可以處理簡單的檢索,但無法組合或追蹤長輸入中的信息