概述
您發送的輸入令牌和模型產生的輸出令牌具有不同的費率,且輸出的成本通常高出數倍。要估算成本,請使用提供者的令牌產生器或計數端點對令牌進行計數,並將每一邊乘以其每百萬個比率。包括隱藏的標記,例如係統提示、對話歷史記錄和推理。
深入探討
模型不直接讀取字元或單字。分詞器將文字分割成標記,這些標記是從訓練資料中學習到的常見字元序列。英語的常見經驗法則是每個標記大約有四個字符,或四分之三的單字。這意味著 1,000 個單字大約需要 1,300 到 1,400 個標記。代碼、數字、不尋常的名稱和許多非英語語言的每個單字使用更多標記。每個模型系列都有自己的分詞器,因此相同的文字可以透過不同的提供者產生不同的計數。價格通常按每百萬代幣報價,具有單獨的輸入和輸出率。輸出令牌的成本更高,因為模型一次產生一個令牌,而它可以並行處理輸入令牌。輸出的定價通常是輸入速率的幾倍,通常在四到八倍之間,儘管比率因模型而異。這是一個虛構價格的範例:輸入為每百萬代幣 3 美元,輸出為每百萬代幣 15 美元。任務發送 6,000 個輸入令牌(系統提示、說明和文件)並取得 800 個輸出令牌。 - 輸入:6,000 x $3 / 1,000,000 = $0.018 - 輸出:800 x $15 / 1,000,000 = $0.012 - 總計:每個任務 0.03 美元 如果每天執行 10,000 個任務,則每天約為 300 美元。出於可預見的原因,真實的帳單常常讓人們感到驚訝: - 聊天應用程式每次都會重新發送整個對話,因此輸入會隨著每個訊息而增加。 - 推理模型產生內部思維標記,這些標記作為輸出計費,即使它們沒有完整顯示。 - 工具定義、檢索的文件和影像都算是輸入。 - 重試和失敗的呼叫也會花錢。三個常見的誤解是:令牌等於單詞,填充模型的上下文視窗是免費的,以及每個令牌價格最低的模型總是每個任務最便宜。一個透過更少的嘗試完成的更強大的模型可以降低總體成本。
現實世界的實施
開發者使用 OpenAI 的開源 tiktoken 庫統計一篇 3000 字的支援文章,然後再發送。大約有 4,000 個代幣,她設定了一個預算警報來匹配。
聊天機器人團隊發現,其大部分帳單來自於每次重新發送 2,000 個令牌的系統提示和完整的聊天歷史記錄。它透過總結較舊的輪次並使用即時快取來降低成本。
一家公司在一夜之間處理 50,000 個產品描述,並將工作轉移到提供者的批次 API。批次 API 收費較低,並且結果會在幾小時內而不是幾秒鐘內到達。
將內容翻譯成印地語和日語的團隊每頁的預算高於英語。使用常見的標記器,相同的含義通常在這些語言中需要更多的標記。
令牌計數和 LLM API 定價的未來
在過去幾年中,特定功能水準的每個代幣價格已大幅下降。無論如何,總支出通常會增加,因為應用程式使用更長的上下文,代理進行許多調用,推理模型會產生更多輸出。定價也變得更加多樣化,快取輸入、長上下文請求、批次作業和推理都有單獨的費率。這使得衡量每個任務的實際使用比比較整體價格更為重要。預算、每個功能的成本追蹤和自動模型路由等成本工具可能會成為法學碩士申請的標準部分。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是令牌計數和 LLM API 定價?
LLM API 按令牌收費,令牌是大約四分之三英文單字的文字區塊。您發送的輸入令牌和模型產生的輸出令牌具有不同的費率,且輸出的成本通常高出數倍。要估算成本,請使用提供者的令牌產生器或計數端點對令牌進行計數,並將每一邊乘以其每百萬個比率。包括隱藏的標記,例如係統提示、對話歷史記錄和推理。
英文文本和標記的通用經驗法則是什麼?
英語平均每個標記大約有 4 個字元或 0.75 個單詞,因此 1,000 個單字大約相當於 1,300 到 1,400 個標記。
為什麼輸出代幣的價格通常會高於輸入代幣?
逐一產生令牌比並行處理輸入令牌需要更多的計算時間。
假設價格為每百萬個輸入代幣 3 美元,每百萬個輸出代幣 15 美元,那麼一次包含 6,000 個輸入和 800 個輸出代幣的呼叫成本是多少?
6,000 x 3 / 1,000,000 = $0.018 和 800 x 15 / 1,000,000 = $0.012,加起來為 $0.03。
為什麼聊天機器人的成本經常隨著對話的進行而增加?
每個新訊息通常都包含所有較早的輪次,因此除非修剪或總結歷史記錄,否則輸入標記會堆積起來。
推理模型的內部思維代幣通常如何計費?
思考標記是由模型產生的,因此即使您看不到全部標記,它們也會作為輸出計費。