引導式測驗 · 中等 等級
長上下文與 RAG 測驗
比較長上下文和 RAG 的成本、延遲、準確性和新鮮度,包括中間丟失效應和混合設計。
問題 1 的 8
為什麼長上下文方法的每次查詢成本通常比 RAG 更高?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼長上下文方法的每次查詢成本通常比 RAG 更高?
- 提供者按輸入令牌收費,長上下文會發送更多令牌
- 長上下文模型需要向量資料庫
- RAG 始終免費
- 長上下文需要對每個問題微調
- 2023 年「迷失在中間」研究發現了什麼?
- 模型會忽略每個提示的第一句話
- 檢索總是勝過長上下文
- 當相關資訊放置在長輸入中間時,效能會下降
- 上下文視窗不能超過 4,000 個令牌
- 大海撈針測試的主要限制是什麼?
- 他們只處理圖像
- 他們測量簡單的查找,而不是對許多分散的事實進行推理
- 它們不能在長輸入上運行
- 他們衡量的是成本,而不是準確性
- 與長上下文相比,哪種情況最明顯有利於 RAG?
- 一份簡短的政策文件被查詢了幾次
- 總結一部小說的主題
- 比較一份報告的兩個章節
- 具有每個使用者存取權限的大型且經常變更的語料庫
- 當使用長語料庫的提示快取時,提示應該如何安排?
- 將問題放在前面,將語料放在最後
- 根據每個請求打亂語料庫
- 將穩定語料放在前面,將可變問題放在最後
- 將語料庫拆分為不同的請求
- 為什麼第一個標記的時間會隨著上下文長度的增加而增加?
- 模型必須在開始回答之前處理每個輸入標記
- 透過較慢的網路發送較長的提示
- 此模型從互聯網上檢索文檔
- 輸出令牌是並行產生的
- 長語境特別適合哪種任務?
- 搜尋數百萬篇支援文章
- 服務不同權限等級的用戶
- 根據每小時變化的數據回答
- 總結整個文件的主題
- 長上下文和 RAG 的常見混合是什麼樣的?
- 僅對圖像使用 RAG,僅對文字使用長上下文
- 大量檢索相關文檔,然後將整個文檔包含在長視窗中
- 在檢索到的區塊上微調模型
- 奇數日和偶數日交替進場