應用指南

人工智慧業務的毛利率和推理成本

AI 企業的毛利率是其營收減去交付產品的直接成本後,再除以營收。

聆聽此指南AI 語音敘述 · ~3 min

本頁4 分鐘閱讀
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. AI 企業毛利率與推論成本的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

對於 AI 軟體而言,該成本包含推論,即模型每次回答請求時所耗費的運算資源。推論成本會隨著使用量而成長,而不是像傳統 SaaS 那樣對每個額外用戶維持接近零的成本,因此 AI 產品的毛利率通常比傳統 SaaS 更低且更難預測。這會影響它們的定價方式、融資方式以及是否能存活。

深入探討

Gross margin is revenue minus cost of revenue, divided by revenue. In classic SaaS, cost of revenue is mostly hosting, customer support and third-party software. Serving one more user costs almost nothing, so mature SaaS companies commonly report gross margins of 70 to 80 percent or higher. AI products add a cost that behaves more like a raw material. Every prompt uses GPU time. The company pays for it either per token to an API provider such as OpenAI, Anthropic or Google, or through GPUs it owns or rents. A heavy user can cost many times more than a light user on the same subscription. A widely read 2020 Andreessen Horowitz essay, "The New Business of AI", argued that many AI companies looked like a mix of software and services, with gross margins pulled down by cloud compute and humans in the loop. Human work still counts: labeling data, reviewing outputs and handling escalations often sit in cost of revenue alongside moderation, retrieval infrastructure such as vector databases, and evaluation runs. Companies protect margins with a familiar set of levers: - **Model routing** sends easy requests to small, cheap models and keeps large models for hard ones. - **Caching** reuses work. Providers can cache repeated prompt prefixes, and a product can store answers to identical queries. - **Smaller or distilled models**, sometimes fine-tuned for one task, can replace a general model for high-volume work. - **Leaner requests** help too: tighter prompts, limits on output length, and batch processing for jobs that can wait. - **Pricing** is the last lever. Usage-based tiers, credits or caps tie revenue to cost. A common misconception is that falling token prices will fix margins on their own. Prices for a given level of capability have dropped sharply. But products often use up the savings by moving to newer models, longer contexts and agents that make many calls per task. Margin comes from engineering and pricing choices, not from some fixed property of AI.

現實世界的實施

一家客服聊天機器人新創公司將簡單的常見問題(FAQ)發送給小型、便宜的模型,只將複雜的客訴傳遞給前沿模型。這降低了每次對話的平均成本,同時又不會損及處理艱難案例時的回答品質。

一款以每個授權(seat)固定月費出售的程式碼助理發現,一小群高用量用戶佔了其推論帳單很大一部分。它增加了使用量上限與進階方案,使營收與成本成正比。

一項合約摘要工具將其長系統提示詞與標準條款庫放在每個請求的開頭。供應商的提示詞快取隨即以折扣費率計收這些重複的權杖(token)。

一家法律研究公司發現某一類型的查詢佔了其流量的大宗。它針對該任務微調了一個較小的開源權重模型,並停止為此支付通用 API 的費用。

AI 企業毛利率與推論成本的未來

單位能力的推論成本一直在下降。硬體、服務軟體與較小的模型持續改進,模型供應商之間的競爭也壓低了價格。這個趨勢應該有幫助,但它不會自動提高毛利率,因為更長的上下文、推理模型與多步驟代理程式會消耗掉大部分的節省。更多公司可能會將成本工程視為核心學科,從一開始就內建路由、快取與特定任務模型。許多公司也可能會從無限量的固定定價轉向將使用量納入考量的方案。完全依賴單一上游供應商的企業將持續面臨來自該供應商定價決策的毛利率風險。

付諸實踐

為什麼這很重要

  • 配裝選擇. 應用級設計決定了人工智慧是否能改善實際結果。
  • 團隊與工作流程. 良好的工作流程整合可以創造使用者值得信賴的生產力效益。
  • 風險與安全. 範圍明確的用例可以減少變更疲勞和實施風險。

留意

  • 將損壞的流程自動化可能會加劇現有問題。
  • 團隊可能會過度自動化並消除所需的人工判斷。
  • 如果不持續評估輸出,品質可能會出現偏差。

後續步驟

  1. 繪製目前工作流程並確定摩擦最大的步驟。
  2. 在完全自動化之前定義人工檢查點。
  3. 對使用者進行提示、升級路徑和品質標準的訓練。
  4. 追蹤任務級結果以確認持續價值。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加「AI 企業毛利率與推論成本」測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 AI 企業毛利率與推論成本?

AI 企業的毛利率是其營收減去交付產品的直接成本後,再除以營收。對於 AI 軟體而言,該成本包含推論,即模型每次回答請求時所耗費的運算資源。推論成本會隨著使用量而成長,而不是像傳統 SaaS 那樣對每個額外用戶維持接近零的成本,因此 AI 產品的毛利率通常比傳統 SaaS 更低且更難預測。這會影響它們的定價方式、融資方式以及是否能存活。

根據指南,為什麼對 AI 產品而言,服務額外用戶的成本通常比傳統 SaaS 更高?

在傳統 SaaS 中,額外用戶幾乎不會增加成本。在 AI 產品中,每個請求都會使用運算資源,按權杖(token)或透過 GPU 付費,因此成本會隨著使用量上升,表現得更像是原物料。

模型路由有什麼作用?

路由將每個請求與能妥善處理它的最便宜模型進行匹配。這降低了每個請求的平均成本。儲存重複問題的輸出則是另一種槓桿:快取。

Andreessen Horowitz 在 2020 年發表的文章「人工智慧的新商業模式」("The New Business of AI")提出了什麼論點?

該文章指出,雲端運算成本以及人工參與(例如標註與審查),使得許多 AI 公司的毛利率低於一般的軟體企業。

為什麼 token 價格下降不會自動改善 AI 的毛利率?

較便宜的 token 確實有幫助。但當產品採用更大的模型、更長的上下文或多步驟呼叫代理(multi-call agents)時,每個任務的總支出可能會維持不變甚至上升。

為了充分利用供應商的 prompt 快取,提示詞(prompt)應該如何結構化?

快取適用於穩定且重複的前綴。將不變的內容放在開頭、可變的內容放在結尾,意味著每個請求中會有更多部分與快取的前綴相符。