Il prossimoProssima guida
Ottimizzazione dei costi del cloud per carichi di lavoro ML
Tecnico
GUIDA TECNICA
Il costo totale di proprietà (TCO) di un LLM self-hosted è tutto ciò che costa eseguire un modello open-weight sul proprio hardware o su quello noleggiato.
Ascolta questa guidaNarrato dall'IA · ~3 min
Ciò include GPU, alimentazione, rete, software, personale tecnico, capacità inattiva e aggiornamenti, non solo il prezzo delle GPU. Confrontando il totale con i prezzi API per token si vede se il self-hosting consente effettivamente di risparmiare denaro. La risposta di solito dipende dal tenere occupato l'hardware per la maggior parte del tempo.
Self-hosting significa scaricare un modello open-weight, come una variante Llama, Mistral, Qwen o Gemma, e servirlo sull'infrastruttura che controlli. Possono trattarsi di server di tua proprietà o GPU che noleggi nel cloud. I pesi possono essere scaricati gratuitamente, ma eseguirli non lo è. Il costo totale di proprietà è suddiviso in diversi livelli: - **Hardware.** Le GPU acquistate vengono ammortizzate in pochi anni. Le GPU noleggiate vengono fatturate su base oraria, indipendentemente dal fatto che siano occupate o inattive. L'hardware di proprietà necessita anche di alimentazione, raffreddamento, spazio su rack e rete. - **Software e operazioni.** È necessario un server di inferenza come vLLM, SGLang o NVIDIA TensorRT-LLM. Sono inoltre necessari bilanciamento del carico, monitoraggio, registrazione, rafforzamento della sicurezza e ridondanza in modo che un nodo guasto non interrompa il servizio. - **Personale.** Questo è spesso il costo nascosto più grande: ingegneri che distribuiscono, ottimizzano, applicano patch e aggiornano lo stack, oltre a qualcuno reperibile. - **Aggiornamenti.** Nuovi modelli arrivano spesso. Ogni migrazione implica una nuova valutazione, una nuova messa a punto e talvolta l'acquisto di nuovo hardware. L'utilizzo decide il risultato. Un'API addebita solo i token che utilizzi. Una GPU self-hosted costa lo stesso indipendentemente dal fatto che soddisfi una richiesta o migliaia. Il costo effettivo per token è il costo mensile totale diviso per i token effettivamente serviti. Un cluster utilizzato poco può costare molto di più per token rispetto a un'API, mentre uno caricato costantemente può costare molto meno. Sono comuni tre idee sbagliate. Il primo è che il prezzo di noleggio della GPU moltiplicato per ore è uguale al costo, che ignora il personale e i tempi di inattività. La seconda è che i pesi aperti significano liberi. Il terzo è che il self-hosting è automaticamente più privato. Un server scarsamente protetto può essere più rischioso di un provider con controlli controllati. Ci sono buone ragioni per eseguire l'hosting autonomo: - controllo sui dati - costi prevedibili con volumi elevati e costanti - personalizzazione attraverso la messa a punto - libertà dal fatto che un fornitore modifichi o ritiri un modello
Un'azienda noleggia GPU per servire un modello da 70 miliardi di parametri per un assistente interno. Il traffico arriva solo durante l'orario d'ufficio, quindi le GPU rimangono inattive quasi tutte le sere e ogni token finisce per costare più dell'API che ha sostituito.
Una banca la cui politica interna richiede che i dati sensibili rimangano nell’infrastruttura da essa controllata ospita autonomamente un modello aperto di medie dimensioni nel proprio data center. Accetta un costo più elevato in cambio di tale controllo.
Una pipeline di classificazione dei documenti in funzione 24 ore su 24 serve un piccolo modello quantizzato su una singola GPU con batch continuo. Il suo costo per token finisce ben al di sotto delle tariffe API.
Una startup prevede solo il noleggio della GPU cloud. Successivamente scopre di aver bisogno di un tecnico reperibile per gestire le interruzioni del servizio, il monitoraggio, le patch di sicurezza e gli aggiornamenti dei modelli e che i costi del personale superano la bolletta dell'hardware.
Il calcolo del self-hosting continua a muoversi in entrambe le direzioni. I modelli a peso aperto sono diventati più capaci e la quantizzazione e il software di servizio efficiente consentono a hardware più piccoli di gestire carichi di lavoro utili. Allo stesso tempo, i prezzi delle API sono diminuiti e i servizi gestiti ospitano sempre più modelli aperti a pagamento per token, il che elimina gran parte del carico operativo. Per molte organizzazioni il modello probabile è ibrido: API per carichi di lavoro critici o di frontiera e self-hosting per quelli costanti, ad alto volume o sensibili. Tratta la decisione come qualcosa da rivedere regolarmente, non come una scelta una tantum. Le generazioni dell'hardware, i rilasci dei modelli e i prezzi cambiano tutti durante un tipico periodo di ammortamento.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il costo totale di proprietà (TCO) di un LLM self-hosted è tutto ciò che costa eseguire un modello open-weight sul proprio hardware o su quello noleggiato. Ciò include GPU, alimentazione, rete, software, personale tecnico, capacità inattiva e aggiornamenti, non solo il prezzo delle GPU. Confrontando il totale con i prezzi API per token si vede se il self-hosting consente effettivamente di risparmiare denaro. La risposta di solito dipende dal tenere occupato l'hardware per la maggior parte del tempo.
Con 16 bit (2 byte) per parametro, 70 miliardi × 2 byte equivalgono a circa 140 GB. Si tratta di più di una singola GPU da 80 GB, prima che venga aggiunta qualsiasi memoria cache KV.
Dividendo tutti i costi mensili, inclusi personale e capacità inattiva, per i token effettivamente serviti si ottiene una cifra che puoi confrontare direttamente con i prezzi API per token.
Un'API fattura solo per l'utilizzo, ma l'hardware e il personale self-hosted costano lo stesso indipendentemente dal carico. Il basso utilizzo distribuisce tali costi fissi su un numero inferiore di token.
I budget spesso contano solo per l'hardware. L'esecuzione di un servizio di inferenza affidabile richiede tempo di progettazione e tale lavoro può superare il costo della GPU.
La cache KV memorizza chiavi e valori di attenzione per le richieste attive. Contesti più lunghi e più utenti simultanei ne hanno bisogno di più.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Ottimizzazione dei costi del cloud per carichi di lavoro ML
Tecnico