Quiz collegato alla guida · Difficile Livello

Stima dei FLOP della formazione LLM Quiz

Stima le operazioni di formazione LLM ad alta densità con 6ND, converti il throughput in runtime, distingui i parametri di utilizzo e verifica le ipotesi di pianificazione.

Percorsi guida correlatiStima dei flop formativi 6°
Domanda 1 di 8

Nella stima del modello denso C ≈ 6ND, quali quantità rappresentano N e D?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Nella stima del modello denso C ≈ 6ND, quali quantità rappresentano N e D?
    • Parameter count and total processed training tokens
    • Number of devices and unique documents
    • Network layers and batch size
    • Numerical precision and model file size
  2. Un corpus di dieci miliardi di token è elaborato due volte. Quale D entra nella stima 6ND?
    • Ten billion, because only unique tokens count
    • Twenty billion, because both passes perform training work
    • Five billion, because repeated data halves the cost
    • Two, because D means the number of passes
  3. Quale distinzione tra FLOP e FLOP/s è necessaria quando si stima un programma di addestramento?
    • Both are memory capacities
    • FLOPs is speed and FLOP/s is total work
    • FLOPs counts operations; FLOP/s is an operation rate
    • Both directly specify the monetary cost
  4. For one billion parameters and twenty billion processed tokens, what does 6ND estimate?
    • 1.2 × 10¹⁰ FLOPs
    • 6 × 10²⁰ FLOPs
    • 2 × 10¹⁹ FLOPs
    • 1.2 × 10²⁰ FLOPs
  5. Otto acceleratori ciascuno ha un picco rilevante di 100 TFLOP/s e un utilizzo delle FLOP del modello del 50%. Quale throughput effettivo del modello viene usato?
    • 400 TFLOP/s
    • 800 TFLOP/s
    • 4 TFLOP/s
    • 40,000 TFLOP/s
  6. L'esecuzione lavorata richiede circa 83,3 ore effettive su otto acceleratori. Quanti ore-acceleratore consuma approssimativamente?
    • About 10.4
    • About 667
    • About 83.3
    • About 300,000
  7. Why can hardware FLOPs utilization exceed model FLOPs utilization for a run that recomputes activations?
    • Recomputation creates new unique training tokens
    • Model utilization counts storage instead of operations
    • Hardware accounting can include recomputation that is excluded from useful model-work accounting
    • The two measures always use different device counts
  8. Before treating a 6ND runtime estimate as a practical schedule, which check does the guide recommend?
    • Assume the model fits if peak FLOP/s is high
    • Reuse any published utilization percentage unchanged
    • Count only model weights and ignore training buffers
    • Measure a representative pilot and account for memory and activities outside its timing scope