引導式測驗 · 中等 等級
提示快取測驗
檢查提供者管理的提示前綴重複使用、快取資格、穩定上下文的放置、更改策略和資料保留檢查。
問題 1 的 8
提供者管理的提示快取可以讓以後的請求避免什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 提供者管理的提示快取可以讓以後的請求避免什麼?
- 重新计算一些符合条件的重复提示前缀的工作
- 在任何新的使用者內容上運行模型
- 檢查特定於提供者的快取資格
- 關注請求的未快取部分
- 为什么提示前缀的微小更改会影响缓存资格?
- 每个提供商都保证缓存重用,无论及时更改如何
- 特定于提供商的匹配规则或断点可能会使更改的前缀不符合重用条件
- 因果注意力可防止任何前綴重複使用
- 更改後面的內容總是會使每個前面的前綴無效
- 哪種場景最能從提示快取中獲益?
- 帶有簡短提示的一次性問題
- 每個單字每次都會改變的提示
- 許多請求都共用一個長的、相同的系統提示或文檔
- 無需輸入生成隨機數
- 團隊應該如何估計提示快取命中的價格影響?
- 假設每個提供者將快取令牌打折 90%
- 假設快取命中始終是免費的
- 單獨使用提示字元數
- 對快取與未快取令牌使用目前提供者和模型定價
- 提示快取可以保持多久可用?
- 這取決於提供者、型號和快取保留設置
- 每個提供者正好一小時
- 永遠除非用戶刪除它
- 每個 API 正好五分鐘
- OpenAI API 用戶端如何辨識從快取提供了多少輸入令牌?
- 系統訊息的字元數
- 回應使用欄位 input_tokens_details.cached_tokens
- 快取鍵長度
- 模型參數個數
- OpenAI隱式提示快取模式下,斷點預設放置在哪裡?
- 無論長度如何,它都會緩存每個提示
- 它禁用前綴匹配
- 它在最新的合格訊息末尾放置一個斷點
- 它永久存儲所有用戶提示
- 在快取敏感提示內容之前,團隊應該檢查什麼?
- 僅 API 儀表板的顏色
- 提示是否包含奇數個標記
- 其他提供者是否提供相同的折扣
- 提供者針對所選模型的保留、資料使用和快取控制條款