Quiz collegato alla guida · Difficile Livello

Costo totale di proprietà per LLM self-hosted Quiz

Verifica ciò che determina il costo reale degli LLM con hosting autonomo: calcoli, utilizzo, personale e pareggio della memoria GPU rispetto ai prezzi API per token.

Domanda 1 di 8

Approssimativamente quanta memoria necessitano i pesi di un modello da 70 miliardi di parametri con una precisione a 16 bit?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Approssimativamente quanta memoria necessitano i pesi di un modello da 70 miliardi di parametri con una precisione a 16 bit?
    • Circa 140GB
    • Circa 35 GB
    • Circa 70GB
    • Circa 560GB
  2. In che modo la guida definisce il costo effettivo per token di una distribuzione self-hosted?
    • Prezzo di noleggio orario della GPU diviso per il conteggio dei parametri del modello
    • Il prezzo di listino del fornitore API meno uno sconto fisso
    • Costo mensile totale diviso per i token effettivamente serviti
    • Prezzo di acquisto dell'hardware diviso per il numero di utenti
  3. Perché un cluster self-hosted poco utilizzato può costare di più per token rispetto a un'API?
    • I modelli self-hosted producono risposte più lunghe
    • Le GPU costano lo stesso sia che siano inattive che occupate, quindi meno token condividono il costo fisso
    • Le licenze a peso aperto addebitano una tariffa per token
    • Le API sono sovvenzionate dai governi
  4. Quale costo la guida identifica così spesso come il più grande ostacolo nascosto nel self-hosting?
    • Costi per il download del modello
    • Licenze tokenizzatore
    • Elettricità per i laptop
    • Personale che distribuisce, ottimizza, applica patch, aggiorna e rimane in servizio per lo stack
  5. Oltre ai pesi del modello, cosa utilizza la memoria della GPU e cresce con la lunghezza del contesto e il numero di richieste simultanee?
    • Il vocabolario del tokenizzatore
    • Il bilanciatore del carico
    • La cache KV
    • Il file di licenza del modello
  6. Perché è sbagliato pensare che il self-hosting sia automaticamente più privato?
    • Un server self-hosted scarsamente protetto può essere più rischioso di un provider con controlli controllati
    • I modelli a peso aperto inviano i dati ai loro creatori
    • Le API non memorizzano mai alcun dato
    • Le leggi sulla privacy vietano il self-hosting
  7. Qual è lo scopo del batch continuo in server come vLLM?
    • Per comprimere i pesi del modello a 4 bit
    • Per tradurre i suggerimenti in altre lingue
    • Per scaricare automaticamente le nuove versioni del modello
    • Per tenere occupate le GPU elaborando molte richieste insieme
  8. Qual è il modello probabile per molte organizzazioni descritto nella guida?
    • Spostamento di ogni carico di lavoro in modalità self-hosting
    • Ibrido: API per carichi di lavoro critici o di frontiera, self-hosting per carichi costanti, ad alto volume o sensibili
    • Utilizzando solo API per sempre
    • Scegliere una volta e non rivedere mai la decisione