概述
在發布之前這樣做可以防止意外帳單,並顯示一項功能的定價是否可以獲利。它還顯示了哪些設計選擇(例如較長的對話歷史記錄)會推動支出。
深入探討
LLM API 依令牌計費。標記是一段文本,平均大約有四個字符,或大約是英文單字的四分之三。其他語言和代碼通常需要更多標記來表達相同的含義,並且每個提供者的標記產生器的計數略有不同。價格按每百萬代幣報價,輸入(您發送的所有內容)和輸出(模型生成的所有內容)具有單獨的費率。產出的價格通常比投入高出數倍。可靠的估計遵循五個步驟: 1. 定義該功能執行的每項任務。 2. 使用真實範例提示和提供者的標記器或標記計數端點來測量每個請求的標記。統計系統提示、檢索的文件、對話記錄、使用者輸入和預期輸出。 3. 估計數量:活躍用戶數乘以每位用戶每天的請求數。 4. 將代幣乘以價格和數量。 5. 增加重試、失敗呼叫、評估運行和成長的開銷。這是一個使用假設價格為每百萬輸入代幣 3 美元和每百萬輸出代幣 15 美元的可行範例。具有 2,000 個輸入令牌的請求的輸入成本為 0.006 美元。它的 400 個輸出代幣又花費 0.006 美元,因此請求花費 0.012 美元。如果每天有 10,000 個請求,則每天費用為 120 美元,或每月 30 天的費用約為 3,600 美元(不包括管理費用)。最大的估計錯誤來自於人們忘記的內容: - 大多數聊天應用程式每次都會重新發送對話。輸入隨著每個訊息的增加而增加,因此一次長對話的成本遠高於幾個短對話的成本。 - 檢索增強功能可以為每次呼叫添加數千個上下文標記。 - 推理模型產生內部思考標記,即使未顯示,也將其計為輸出。 - 代理程式針對每個使用者操作進行多次呼叫。折扣改變了數學。提示快取降低了重複前綴的成本,並且批次 API 減少了可以等待的工作。請務必檢查提供者的當前定價頁面,因為費率經常變化。
現實世界的實施
建立電子郵件起草功能的團隊透過標記器執行一批真實的測試提示。它發現系統提示字元佔所有輸入令牌的一半以上,因此它縮短了啟動前的提示符號。
聊天機器人的預測假設每輪都有一個簡短的提示,一旦團隊注意到每輪都重新發送完整的對話,就會崩潰。修訂後的預測限制了歷史並總結了先前的變化。
每晚對數以萬計的支援請求進行分類的工作將轉移到提供者的打折批量 API。不需要立即得到任何結果,因此延遲沒有任何成本。
推理模型的啟動預算了解到隱藏的推理標記作為輸出進行計費。它的估計只計算了可見的答案,因此它必須將每個請求的成本提高數倍。
估算 LLM API 成本和代幣預算的未來
對於給定的能力水平,每個代幣的價格通常都會下降。提供者不斷增加定價選項,例如快取折扣、批量費率和分層服務等級。這使得 LLM 使用更便宜,但估計更複雜,因為最便宜的設定取決於延遲需求和提示結構。推理和代理工作負載正在將主要成本從輸入長度轉移到輸出令牌和呼叫數量,因此基於簡單聊天假設的預測將很快過時。成本監控很可能成為法學碩士工具的標準部分。預計將根據記錄的使用情況不斷修改,而不是在發布前進行一次。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是估算 LLM API 成本和代幣預算?
若要估算 LLM API 成本,請將每個請求傳送和接收的令牌乘以提供者的每個令牌價格,然後按您預期的請求數量進行縮放。在發布之前這樣做可以防止意外帳單,並顯示一項功能的定價是否可以獲利。它還顯示了哪些設計選擇(例如較長的對話歷史記錄)會推動支出。
在英語中,一個標記平均大約代表多少文本?
常見的經驗法則是每個英文標記大約有 4 個字元或 0.75 個單字。其他語言和代碼通常使用更多標記來表示相同的含義。
LLM API 提供者通常對哪種類型的代幣定價較高?
提供者對輸入和輸出分別收費,輸出代幣的價格通常比輸入代幣高出數倍。
以每百萬輸入代幣 3 美元的假設價格,2,000 個輸入代幣的價格是多少?
2,000 / 1,000,000 × 3 美元 = 0.006 美元。在乘以價格之前將代幣除以一百萬是任何估算的核心步驟。
為什麼聊天對話的時間越長,成本越高?
大多數聊天應用程式每次都會重新發送整個對話,因此輸入會隨著每個訊息而增長,總輸入大致會隨著對話長度的平方而增長。
推理模型的內部思維代幣通常如何計費?
推理令牌由模型生成,因此即使使用者可能永遠不會看到它們,它們也會作為輸出計費。將它們排除在外可能會嚴重低估成本。