引導式測驗 · 中等 等級

長上下文與 RAG 測驗

比較長上下文和 RAG 的成本、延遲、準確性和新鮮度,包括中間丟失效應和混合設計。

相關引導路徑長上下文與 RAG
問題 1 的 8

為什麼長上下文方法的每次查詢成本通常比 RAG 更高?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼長上下文方法的每次查詢成本通常比 RAG 更高?
    • 提供者按輸入令牌收費,長上下文會發送更多令牌
    • 長上下文模型需要向量資料庫
    • RAG 始終免費
    • 長上下文需要對每個問題微調
  2. 2023 年「迷失在中間」研究發現了什麼?
    • 模型會忽略每個提示的第一句話
    • 檢索總是勝過長上下文
    • 當相關資訊放置在長輸入中間時,效能會下降
    • 上下文視窗不能超過 4,000 個令牌
  3. 大海撈針測試的主要限制是什麼?
    • 他們只處理圖像
    • 他們測量簡單的查找,而不是對許多分散的事實進行推理
    • 它們不能在長輸入上運行
    • 他們衡量的是成本,而不是準確性
  4. 與長上下文相比,哪種情況最明顯有利於 RAG?
    • 一份簡短的政策文件被查詢了幾次
    • 總結一部小說的主題
    • 比較一份報告的兩個章節
    • 具有每個使用者存取權限的大型且經常變更的語料庫
  5. 當使用長語料庫的提示快取時,提示應該如何安排?
    • 將問題放在前面,將語料放在最後
    • 根據每個請求打亂語料庫
    • 將穩定語料放在前面,將可變問題放在最後
    • 將語料庫拆分為不同的請求
  6. 為什麼第一個標記的時間會隨著上下文長度的增加而增加?
    • 模型必須在開始回答之前處理每個輸入標記
    • 透過較慢的網路發送較長的提示
    • 此模型從互聯網上檢索文檔
    • 輸出令牌是並行產生的
  7. 長語境特別適合哪種任務?
    • 搜尋數百萬篇支援文章
    • 服務不同權限等級的用戶
    • 根據每小時變化的數據回答
    • 總結整個文件的主題
  8. 長上下文和 RAG 的常見混合是什麼樣的?
    • 僅對圖像使用 RAG,僅對文字使用長上下文
    • 大量檢索相關文檔,然後將整個文檔包含在長視窗中
    • 在檢索到的區塊上微調模型
    • 奇數日和偶數日交替進場