GUIDA alle applicazioni

Margini lordi e costi di inferenza nelle aziende di intelligenza artificiale

Il margine lordo di un'azienda di intelligenza artificiale è pari alle entrate meno il costo diretto di consegna del prodotto, diviso per le entrate.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. The Future of Gross Margins and Inference Costs in AI Businesses
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

For AI software that cost includes inference, the compute spent every time a model answers a request. Inference grows with usage instead of staying close to zero for each extra user, so AI products often have lower and less predictable margins than classic SaaS. That affects how they set prices, how they raise money and whether they survive.

Immersione profonda

Gross margin is revenue minus cost of revenue, divided by revenue. In classic SaaS, cost of revenue is mostly hosting, customer support and third-party software. Serving one more user costs almost nothing, so mature SaaS companies commonly report gross margins of 70 to 80 percent or higher. AI products add a cost that behaves more like a raw material. Every prompt uses GPU time. The company pays for it either per token to an API provider such as OpenAI, Anthropic or Google, or through GPUs it owns or rents. A heavy user can cost many times more than a light user on the same subscription. A widely read 2020 Andreessen Horowitz essay, "The New Business of AI", argued that many AI companies looked like a mix of software and services, with gross margins pulled down by cloud compute and humans in the loop. Human work still counts: labeling data, reviewing outputs and handling escalations often sit in cost of revenue alongside moderation, retrieval infrastructure such as vector databases, and evaluation runs. Companies protect margins with a familiar set of levers: - **Model routing** sends easy requests to small, cheap models and keeps large models for hard ones. - **Caching** reuses work. Providers can cache repeated prompt prefixes, and a product can store answers to identical queries. - **Smaller or distilled models**, sometimes fine-tuned for one task, can replace a general model for high-volume work. - **Leaner requests** help too: tighter prompts, limits on output length, and batch processing for jobs that can wait. - **Pricing** is the last lever. Usage-based tiers, credits or caps tie revenue to cost. A common misconception is that falling token prices will fix margins on their own. Prices for a given level of capability have dropped sharply. But products often use up the savings by moving to newer models, longer contexts and agents that make many calls per task. Margin comes from engineering and pricing choices, not from some fixed property of AI.

Implementazione nel mondo reale

A customer-support chatbot startup sends simple FAQ questions to a small, cheap model and passes only complex tickets to a frontier model. This lowers its average cost per conversation without hurting answers on the hard cases.

A coding assistant sold at a flat monthly price per seat finds that a small group of power users accounts for a large share of its inference bill. It adds usage caps and a premium tier so revenue follows cost.

A contract-summarization tool puts its long system prompt and standard clause library at the start of every request. Provider prompt caching then bills those repeated tokens at a discounted rate.

A legal research company sees that one type of query dominates its traffic. It fine-tunes a smaller open-weight model for that task and stops paying a general-purpose API for it.

The Future of Gross Margins and Inference Costs in AI Businesses

Inference costs per unit of capability have been falling. Hardware, serving software and smaller models keep improving, and competition among model providers holds prices down. That trend should help, but it will not automatically raise margins, because longer contexts, reasoning models and multi-step agents use up much of the saving. More companies are likely to treat cost engineering as a core discipline and build in routing, caching and task-specific models from the start. Many will likely move from unlimited flat pricing to plans that account for usage. A business that depends entirely on one upstream provider will keep facing margin risk from that supplier's pricing decisions.

Metterlo in pratica

Perché è importante

  • Scelte di build. La progettazione a livello di applicazione determina se l’intelligenza artificiale migliora i risultati reali.
  • Team e flusso di lavoro. Una buona integrazione del flusso di lavoro crea guadagni di produttività di cui gli utenti possono fidarsi.
  • Rischio e sicurezza. I casi d'uso ben definiti riducono l'affaticamento dovuto al cambiamento e il rischio di implementazione.

Attenzione

  • Automatizzare un processo interrotto può amplificare i problemi esistenti.
  • I team potrebbero automatizzare eccessivamente e rimuovere il necessario giudizio umano.
  • La qualità può variare se i risultati non vengono valutati continuamente.

Prossimi passi

  1. Mappa il flusso di lavoro corrente e identifica la fase di maggiore attrito.
  2. Definisci checkpoint umani prima dell'automazione completa.
  3. Formare gli utenti su prompt, percorsi di escalation e standard di qualità.
  4. Tieni traccia dei risultati a livello di attività per confermare il valore duraturo.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Gross Margins and Inference Costs in AI Businesses quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

What is Gross Margins and Inference Costs in AI Businesses?

An AI business's gross margin is its revenue minus the direct cost of delivering the product, divided by revenue. For AI software that cost includes inference, the compute spent every time a model answers a request. Inference grows with usage instead of staying close to zero for each extra user, so AI products often have lower and less predictable margins than classic SaaS. That affects how they set prices, how they raise money and whether they survive.

Secondo la guida, perché servire un utente in più di solito costa di più per un prodotto AI che per il classico SaaS?

Nel classico SaaS, un utente in più non aggiunge quasi alcun costo. Nei prodotti AI, ogni richiesta utilizza elaborazione, pagata per token o tramite GPU, quindi il costo aumenta con l'utilizzo e si comporta più come una materia prima.

Cosa fa il routing del modello?

Il routing abbina ciascuna richiesta al modello più economico in grado di gestirla bene. Ciò riduce il costo medio per richiesta. La memorizzazione degli output per le domande ripetute è una leva diversa: la memorizzazione nella cache.

Cosa sosteneva il saggio di Andreessen Horowitz del 2020 “The New Business of AI”?

Il saggio sostiene che i costi del cloud computing e il coinvolgimento umano, come l’etichettatura e la revisione, hanno dato a molte aziende di intelligenza artificiale margini lordi inferiori rispetto alle tipiche aziende di software.

Perché il calo dei prezzi dei token non fissa automaticamente i margini lordi dell'IA?

I gettoni più economici aiutano. Ma quando i prodotti adottano modelli più grandi, contesti più lunghi o agenti multi-chiamata, la spesa totale per attività può rimanere stabile o addirittura aumentare.

Per ottenere il massimo dalla memorizzazione nella cache dei prompt del provider, come dovresti strutturare un prompt?

La memorizzazione nella cache funziona su un prefisso stabile e ripetuto. Mantenere il materiale immutabile all'inizio e il contenuto variabile alla fine significa che una parte maggiore di ciascuna richiesta corrisponde al prefisso memorizzato nella cache.