Quiz collegato alla guida · Medio Livello

Margini lordi e costi di inferenza nelle aziende di intelligenza artificiale Quiz

Metti alla prova la tua comprensione del motivo per cui i margini lordi dell'intelligenza artificiale sono inferiori al classico SaaS, di come i costi di inferenza aumentano con l'utilizzo e di come il routing e la memorizzazione nella cache proteggono i margini.

Domanda 1 di 8

Secondo la guida, perché servire un utente in più di solito costa di più per un prodotto AI che per il classico SaaS?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Secondo la guida, perché servire un utente in più di solito costa di più per un prodotto AI che per il classico SaaS?
    • I prodotti AI devono acquistare una licenza software separata per ciascun utente
    • I prodotti di intelligenza artificiale necessitano di database di clienti molto più grandi
    • Ogni richiesta consuma tempo GPU, un costo variabile che aumenta con l'utilizzo
    • I prodotti AI richiedono più venditori per cliente
  2. Cosa fa il routing del modello?
    • Invia richieste facili a modelli piccoli ed economici e mantiene modelli grandi per quelli difficili
    • Invia ogni richiesta al modello più capace per garantire la qualità
    • Distribuisce le richieste in modo uniforme tra diversi fornitori per ottenere sconti sul volume
    • Memorizza gli output del modello in modo che alle domande identiche non venga mai data risposta due volte
  3. Cosa sosteneva il saggio di Andreessen Horowitz del 2020 “The New Business of AI”?
    • Le società di intelligenza artificiale avrebbero presto margini lordi più elevati rispetto a qualsiasi attività SaaS
    • I costi di inferenza erano troppo piccoli per influenzare le finanze delle società di intelligenza artificiale
    • Le aziende di intelligenza artificiale dovrebbero evitare del tutto di utilizzare i fornitori di servizi cloud
    • Molte aziende di intelligenza artificiale sembravano un mix di software e servizi, con margini inferiori derivanti dall’elaborazione e dal coinvolgimento umano
  4. Perché il calo dei prezzi dei token non fissa automaticamente i margini lordi dell'IA?
    • I prezzi dei token in realtà non sono diminuiti per nessun livello di capacità
    • I prodotti spesso esauriscono i risparmi passando a modelli più recenti, contesti più lunghi e flussi di lavoro basati su agenti
    • Il margine lordo non include i costi di elaborazione
    • I fornitori aumentano nuovamente i prezzi ogni volta che li riducono
  5. Per ottenere il massimo dalla memorizzazione nella cache dei prompt del provider, come dovresti strutturare un prompt?
    • Metti la domanda dell'utente al primo posto in modo che il modello la legga prima di ogni altra cosa
    • Randomizza l'ordine delle istruzioni su ciascuna chiamata per evitare risposte obsolete
    • Metti le istruzioni statiche, le definizioni degli strumenti e i documenti di riferimento per primi e per ultimi i contenuti utente variabili
    • Dividi ogni prompt in tante piccole chiamate in modo che ognuna venga memorizzata nella cache separatamente
  6. Perché la guida consiglia di monitorare il margine di contribuzione per gruppo di clienti invece di fare affidamento sulle medie?
    • Le medie sopravvalutano il costo degli utenti della luce
    • Il monitoraggio delle coorti è richiesto dai principi contabili
    • Le medie rendono impossibile il routing
    • Le medie nascondono gli utenti esperti il cui utilizzo intenso può cancellare i profitti
  7. Come funziona una cascata di routing?
    • Prova prima un modello piccolo e passa a uno più grande quando un controllo di convalida o un segnale di fiducia fallisce
    • Invia ogni richiesta a ogni modello disponibile e sceglie la risposta più lunga
    • Si inizia sempre con il modello più grande e si ritorna a quelli più piccoli quando i budget si esauriscono
    • Memorizza ogni risposta e la ripropone ai futuri utenti con domande diverse
  8. Perché i costi dovrebbero essere modellati per attività anziché per chiamata API?
    • I fornitori fatturano per attività, non per token
    • Un agente può effettuare molte chiamate per un'azione di un singolo utente, pertanto i dati per chiamata sottostimano il costo reale
    • I costi per chiamata sono sempre pari a zero per i prompt memorizzati nella cache
    • Le attività e le chiamate costano sempre esattamente lo stesso