Il prossimoProssima guida
Stima dei costi API LLM e dei budget dei token
Tecnico
GUIDA TECNICA
Per un modello linguistico denso, C ≈ 6ND stima l'aritmetica di addestramento dal conteggio dei parametri N e dai token di addestramento elaborati D.
Ascolta questa guidaNarrato dall'IA · ~3 min
Convertire quel conteggio di operazioni in tempo richiede anche un throughput e un utilizzo realistici degli acceleratori. Il risultato è un'approssimazione di pianificazione, non una promessa sul tempo di esecuzione, memoria, costo o qualità del modello.
Training compute counts arithmetic operations, while FLOP/s measures how quickly a system performs them. Keep those units separate. For a conventional dense Transformer, a common first estimate is C ≈ 6ND, where N is the relevant parameter count and D is the total number of tokens processed during training. Repeated passes through the same tokens count again. State how embeddings and other parameters are counted so comparisons use the same convention. The factor six approximates the main parameter-matrix work: roughly 2N operations per token in the forward pass and 4N in the backward pass. It is not an exact count of every operation. Attention, long sequences, architecture differences, and implementation choices can require a more detailed estimate. Applying the dense formula to a mixture-of-experts model using all stored parameters can be misleading because only some experts are active for each token. Consider a constructed example with N = 10⁹ and D = 2 × 10¹⁰. Multiplying gives C ≈ 1.2 × 10²⁰ FLOPs. Suppose eight accelerators each have a relevant peak of 100 × 10¹² FLOP/s, with an assumed model FLOPs utilization of 0.5. Their effective model throughput is 4 × 10¹⁴ FLOP/s. Dividing compute by throughput gives 300,000 seconds, about 83.3 hours. Eight devices running that long represent about 667 accelerator-hours. Measure a representative training pilot before committing to a schedule. Use the intended sequence length, batch size, precision, software, and device arrangement. Record both tokens per second and what the timing includes. Add explicit allowances for evaluation, checkpoints, interruptions, and experimentation when those activities fall outside the measurement. The arithmetic estimate alone does not show whether the model fits in memory.
Un modello denso ipotetico con un miliardo di parametri elabora venti miliardi di token. La stima 6ND è 1,2 × 10²⁰ operazioni in virgola mobile.
Un team assume otto acceleratori, ciascuno con una potenza di 100 TFLOP/s per la precisione rilevante, e un utilizzo delle FLOP del modello del 50%. Il throughput effettivo del modello è 400 TFLOP/s, dando circa 83,3 ore per l'esecuzione di esempio.
Un ricercatore elabora un corpus di dieci miliardi di token due volte. D è venti miliardi di token elaborati, anche se il corpus unico contiene dieci miliardi di token.
Un pilota di addestramento raggiunge solo metà dei token stimati per secondo. Il team rivede il programma usando il throughput osservato invece di trattare il rating di picco del chip come prestazione sostenuta.
I sistemi di addestramento continueranno a cambiare i loro formati numerici, kernel, esecuzione parallela e strategie di memoria. Questi cambiamenti possono alterare il throughput utile ottenuto per un modello altrimenti simile. Mantieni un piccolo foglio di stima con la convenzione dei parametri, il budget di token, le ipotesi hardware, il tasso pilota misurato e le attività escluse. Aggiorna il foglio quando la configurazione cambia invece di riutilizzare una percentuale di utilizzo da un benchmark non correlato. Confronta la stima con l'esecuzione completata per migliorare la pianificazione futura, e mantieni un intervallo quando il throughput o i tassi di interruzione rimangono incerti.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Per un modello linguistico denso, C ≈ 6ND stima l'aritmetica di addestramento dal conteggio dei parametri N e dai token di addestramento elaborati D. Convertire quel conteggio di operazioni in tempo richiede anche un throughput e un utilizzo realistici degli acceleratori. Il risultato è un'approssimazione di pianificazione, non una promessa sul tempo di esecuzione, memoria, costo o qualità del modello.
N rappresenta il conteggio dei parametri secondo la convenzione scelta; D conta i token elaborati durante l'addestramento.
D conta i token elaborati, quindi due passaggi su dieci miliardi di token contribuiscono a venti miliardi di token.
Dividi le operazioni totali per le operazioni per secondo per ottenere i secondi.
8 × 100 × 0,5 = 400 TFLOP/s. Un rating di picco da solo ometterebbe l'assunzione di utilizzo.
Moltiplica le ore trascorse per il numero di dispositivi: 83,3 × 8 ≈ 667 ore di acceleratore.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Stima dei costi API LLM e dei budget dei token
Tecnico