引導式測驗 · 中等 等級
上下文壓縮和對話歷史記錄管理測驗
測試截斷與滾動摘要、代理壓縮和工具結果清除的工作原理,以及為什麼基於令牌的閾值很重要。
問題 1 的 8
為什麼長時間的聊天會話變得越來越昂貴?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼長時間的聊天會話變得越來越昂貴?
- 該模型在每台伺服器上儲存聊天副本
- 提供者按聊天保持開放的天數計費
- 大多數聊天 API 都是無狀態的,因此每個請求都會重新發送到目前為止的完整對話
- 模型會根據每個新訊息重新訓練自己
- 滑動視窗截斷的主要弱點是什麼?
- 它忘記了早期的事實,例如用戶在開始時聲明的約束
- 這是最昂貴的策略
- 它需要第二個模型才能運行
- 它重寫了系統提示符
- 滾動匯總特有哪些風險?
- 語言模型無法產生摘要
- 它增加了每個請求的令牌數量
- 它僅適用於影像輸入
- 摘要會丟失細節,並且當再次匯總摘要時,錯誤可能會加劇
- 壓縮通常在代理工具中產生什麼?
- 沒有任何資訊的空歷史記錄
- 目標、進展、決策和未決問題的結構化交接,播種新的背景
- 代理打開的每個文件的完整副本
- 新微調的模型
- 為什麼在代理會話中清除舊工具結果如此有效?
- 搜尋、檔案讀取和命令的大量輸出通常是最大的令牌消耗者,並且很少再次需要
- 工具結果總是不正確
- API 在第一輪後禁止工具結果
- 它使分詞器運行得更快
- 為什麼閾值應該基於令牌計數而不是訊息計數?
- 無法以程式設計方式對訊息進行計數
- 令牌是免費的,而訊息是收費的
- 單一工具的結果可能勝過多次聊天
- 提供者僅按訊息數計費
- 清除工具結果時,為什麼要替換其內容而不是刪除訊息?
- 讓歷史更長
- 許多 API 會拒絕工具呼叫沒有符合結果的歷史記錄
- 佔位符使模型更具創意
- 將內容取代加密
- 根據指南,長時間會話的連續性實際上來自哪裡?
- 模型對過去所有聊天記錄的永久記憶
- GPU的內部快取
- 使用者的網頁瀏覽器
- 應用程式選擇重新發送或檢索什麼