引導式測驗 · 中等 等級

上下文壓縮和對話歷史記錄管理測驗

測試截斷與滾動摘要、代理壓縮和工具結果清除的工作原理,以及為什麼基於令牌的閾值很重要。

問題 1 的 8

為什麼長時間的聊天會話變得越來越昂貴?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼長時間的聊天會話變得越來越昂貴?
    • 該模型在每台伺服器上儲存聊天副本
    • 提供者按聊天保持開放的天數計費
    • 大多數聊天 API 都是無狀態的,因此每個請求都會重新發送到目前為止的完整對話
    • 模型會根據每個新訊息重新訓練自己
  2. 滑動視窗截斷的主要弱點是什麼?
    • 它忘記了早期的事實,例如用戶在開始時聲明的約束
    • 這是最昂貴的策略
    • 它需要第二個模型才能運行
    • 它重寫了系統提示符
  3. 滾動匯總特有哪些風險?
    • 語言模型無法產生摘要
    • 它增加了每個請求的令牌數量
    • 它僅適用於影像輸入
    • 摘要會丟失細節,並且當再次匯總摘要時,錯誤可能會加劇
  4. 壓縮通常在代理工具中產生什麼?
    • 沒有任何資訊的空歷史記錄
    • 目標、進展、決策和未決問題的結構化交接,播種新的背景
    • 代理打開的每個文件的完整副本
    • 新微調的模型
  5. 為什麼在代理會話中清除舊工具結果如此有效?
    • 搜尋、檔案讀取和命令的大量輸出通常是最大的令牌消耗者,並且很少再次需要
    • 工具結果總是不正確
    • API 在第一輪後禁止工具結果
    • 它使分詞器運行得更快
  6. 為什麼閾值應該基於令牌計數而不是訊息計數?
    • 無法以程式設計方式對訊息進行計數
    • 令牌是免費的,而訊息是收費的
    • 單一工具的結果可能勝過多次聊天
    • 提供者僅按訊息數計費
  7. 清除工具結果時,為什麼要替換其內容而不是刪除訊息?
    • 讓歷史更長
    • 許多 API 會拒絕工具呼叫沒有符合結果的歷史記錄
    • 佔位符使模型更具創意
    • 將內容取代加密
  8. 根據指南,長時間會話的連續性實際上來自哪裡?
    • 模型對過去所有聊天記錄的永久記憶
    • GPU的內部快取
    • 使用者的網頁瀏覽器
    • 應用程式選擇重新發送或檢索什麼