Quiz collegato alla guida · Difficile Livello
Stima dei FLOP della formazione LLM Quiz
Stima le operazioni di formazione LLM ad alta densità con 6ND, converti il throughput in runtime, distingui i parametri di utilizzo e verifica le ipotesi di pianificazione.
Domanda 1 di 8
Nella stima del modello denso C ≈ 6ND, quali quantità rappresentano N e D?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Nella stima del modello denso C ≈ 6ND, quali quantità rappresentano N e D?
- Parameter count and total processed training tokens
- Number of devices and unique documents
- Network layers and batch size
- Numerical precision and model file size
- Un corpus di dieci miliardi di token è elaborato due volte. Quale D entra nella stima 6ND?
- Ten billion, because only unique tokens count
- Twenty billion, because both passes perform training work
- Five billion, because repeated data halves the cost
- Two, because D means the number of passes
- Quale distinzione tra FLOP e FLOP/s è necessaria quando si stima un programma di addestramento?
- Both are memory capacities
- FLOPs is speed and FLOP/s is total work
- FLOPs counts operations; FLOP/s is an operation rate
- Both directly specify the monetary cost
- For one billion parameters and twenty billion processed tokens, what does 6ND estimate?
- 1.2 × 10¹⁰ FLOPs
- 6 × 10²⁰ FLOPs
- 2 × 10¹⁹ FLOPs
- 1.2 × 10²⁰ FLOPs
- Otto acceleratori ciascuno ha un picco rilevante di 100 TFLOP/s e un utilizzo delle FLOP del modello del 50%. Quale throughput effettivo del modello viene usato?
- 400 TFLOP/s
- 800 TFLOP/s
- 4 TFLOP/s
- 40,000 TFLOP/s
- L'esecuzione lavorata richiede circa 83,3 ore effettive su otto acceleratori. Quanti ore-acceleratore consuma approssimativamente?
- About 10.4
- About 667
- About 83.3
- About 300,000
- Why can hardware FLOPs utilization exceed model FLOPs utilization for a run that recomputes activations?
- Recomputation creates new unique training tokens
- Model utilization counts storage instead of operations
- Hardware accounting can include recomputation that is excluded from useful model-work accounting
- The two measures always use different device counts
- Before treating a 6ND runtime estimate as a practical schedule, which check does the guide recommend?
- Assume the model fits if peak FLOP/s is high
- Reuse any published utilization percentage unchanged
- Count only model weights and ignore training buffers
- Measure a representative pilot and account for memory and activities outside its timing scope