Quiz collegato alla guida · Difficile Livello
Costo totale di proprietà per LLM self-hosted Quiz
Verifica ciò che determina il costo reale degli LLM con hosting autonomo: calcoli, utilizzo, personale e pareggio della memoria GPU rispetto ai prezzi API per token.
Domanda 1 di 8
Approssimativamente quanta memoria necessitano i pesi di un modello da 70 miliardi di parametri con una precisione a 16 bit?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Approssimativamente quanta memoria necessitano i pesi di un modello da 70 miliardi di parametri con una precisione a 16 bit?
- Circa 140GB
- Circa 35 GB
- Circa 70GB
- Circa 560GB
- In che modo la guida definisce il costo effettivo per token di una distribuzione self-hosted?
- Prezzo di noleggio orario della GPU diviso per il conteggio dei parametri del modello
- Il prezzo di listino del fornitore API meno uno sconto fisso
- Costo mensile totale diviso per i token effettivamente serviti
- Prezzo di acquisto dell'hardware diviso per il numero di utenti
- Perché un cluster self-hosted poco utilizzato può costare di più per token rispetto a un'API?
- I modelli self-hosted producono risposte più lunghe
- Le GPU costano lo stesso sia che siano inattive che occupate, quindi meno token condividono il costo fisso
- Le licenze a peso aperto addebitano una tariffa per token
- Le API sono sovvenzionate dai governi
- Quale costo la guida identifica così spesso come il più grande ostacolo nascosto nel self-hosting?
- Costi per il download del modello
- Licenze tokenizzatore
- Elettricità per i laptop
- Personale che distribuisce, ottimizza, applica patch, aggiorna e rimane in servizio per lo stack
- Oltre ai pesi del modello, cosa utilizza la memoria della GPU e cresce con la lunghezza del contesto e il numero di richieste simultanee?
- Il vocabolario del tokenizzatore
- Il bilanciatore del carico
- La cache KV
- Il file di licenza del modello
- Perché è sbagliato pensare che il self-hosting sia automaticamente più privato?
- Un server self-hosted scarsamente protetto può essere più rischioso di un provider con controlli controllati
- I modelli a peso aperto inviano i dati ai loro creatori
- Le API non memorizzano mai alcun dato
- Le leggi sulla privacy vietano il self-hosting
- Qual è lo scopo del batch continuo in server come vLLM?
- Per comprimere i pesi del modello a 4 bit
- Per tradurre i suggerimenti in altre lingue
- Per scaricare automaticamente le nuove versioni del modello
- Per tenere occupate le GPU elaborando molte richieste insieme
- Qual è il modello probabile per molte organizzazioni descritto nella guida?
- Spostamento di ogni carico di lavoro in modalità self-hosting
- Ibrido: API per carichi di lavoro critici o di frontiera, self-hosting per carichi costanti, ad alto volume o sensibili
- Utilizzando solo API per sempre
- Scegliere una volta e non rivedere mai la decisione