Kvíz spojený s průvodcem · Střední úroveň

Checkpoint Sharding a Resumable Training Quiz

Procvičte si metadata kontrolního bodu, obnovení stavu tréninku a ověření restartu, včetně rozdílu mezi úlomky hmotnosti a stavem obnovení.

Otázka 1 z 8

Proč jsou kontrolní body velkých modelů rozděleny na úlomky?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Proč jsou kontrolní body velkých modelů rozděleny na úlomky?
    • Aby model trénoval rychleji na malých vstupech
    • Chcete-li skrýt hmotnosti modelu před uživateli
    • Protože sharding zlepšuje přesnost
    • Protože jeden kontrolní bod může být příliš velký pro efektivní zpracování jednoho souboru nebo počítače
  2. Which extra state is typically needed for training resumption beyond model weights?
    • Pouze konečné skóre přesnosti
    • Optimizer and scheduler state, step progress, RNG state, and relevant data-loader progress
    • Only a model-weight shard index
    • A screenshot of the training dashboard
  3. Jaká je hlavní výhoda obnovitelného školení pro dlouhodobou práci?
    • Odstraňuje potřebu ověřovací sady
    • Zaručuje, že se model nikdy nepřehodí
    • Zhroucení nebo preempce nevynutí restartování od nuly
    • Eliminuje optimalizátor
  4. In a sharded distributed checkpoint, how can ranks avoid gathering the entire state on one worker?
    • By saving their assigned local tensor shards with checkpoint metadata
    • By each emailing a full model copy
    • By deleting optimizer state before every save
    • By disabling all state serialization
  5. Jakou roli hraje indexový soubor v rozštěpených kontrolních bodech?
    • Ukládá heslo uživatele
    • Mapuje každý název parametru na soubor fragmentu, který jej obsahuje
    • Komprimuje obrázky v datové sadě
    • Plánuje rychlost učení
  6. Který formát se běžně používá pro bezpečné načítání úlomků modelu s mapovanou pamětí?
    • MP3
    • CSV
    • safetenzory
    • Archivy pouze ZIP
  7. A package contains safetensors weight shards and an index, but no optimizer state. What can it support by itself?
    • Loading model weights, without fully restoring optimizer training history
    • Guaranteed exact resumption of every interrupted run
    • Recovering the next batch position automatically
    • Reconstructing every random-number-generator state
  8. A sharded checkpoint loader supports a new rank layout. What should the team verify before trusting recovery?
    • That fewer ranks guarantee identical floating-point results
    • That the weight index alone includes every application state
    • That no restart test is necessary
    • That the necessary saved state loads correctly and the resumed training step behaves as expected