Kvíz spojený s průvodcem · Střední úroveň
Checkpoint Sharding a Resumable Training Quiz
Procvičte si metadata kontrolního bodu, obnovení stavu tréninku a ověření restartu, včetně rozdílu mezi úlomky hmotnosti a stavem obnovení.
Otázka 1 z 8
Proč jsou kontrolní body velkých modelů rozděleny na úlomky?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Proč jsou kontrolní body velkých modelů rozděleny na úlomky?
- Aby model trénoval rychleji na malých vstupech
- Chcete-li skrýt hmotnosti modelu před uživateli
- Protože sharding zlepšuje přesnost
- Protože jeden kontrolní bod může být příliš velký pro efektivní zpracování jednoho souboru nebo počítače
- Which extra state is typically needed for training resumption beyond model weights?
- Pouze konečné skóre přesnosti
- Optimizer and scheduler state, step progress, RNG state, and relevant data-loader progress
- Only a model-weight shard index
- A screenshot of the training dashboard
- Jaká je hlavní výhoda obnovitelného školení pro dlouhodobou práci?
- Odstraňuje potřebu ověřovací sady
- Zaručuje, že se model nikdy nepřehodí
- Zhroucení nebo preempce nevynutí restartování od nuly
- Eliminuje optimalizátor
- In a sharded distributed checkpoint, how can ranks avoid gathering the entire state on one worker?
- By saving their assigned local tensor shards with checkpoint metadata
- By each emailing a full model copy
- By deleting optimizer state before every save
- By disabling all state serialization
- Jakou roli hraje indexový soubor v rozštěpených kontrolních bodech?
- Ukládá heslo uživatele
- Mapuje každý název parametru na soubor fragmentu, který jej obsahuje
- Komprimuje obrázky v datové sadě
- Plánuje rychlost učení
- Který formát se běžně používá pro bezpečné načítání úlomků modelu s mapovanou pamětí?
- MP3
- CSV
- safetenzory
- Archivy pouze ZIP
- A package contains safetensors weight shards and an index, but no optimizer state. What can it support by itself?
- Loading model weights, without fully restoring optimizer training history
- Guaranteed exact resumption of every interrupted run
- Recovering the next batch position automatically
- Reconstructing every random-number-generator state
- A sharded checkpoint loader supports a new rank layout. What should the team verify before trusting recovery?
- That fewer ranks guarantee identical floating-point results
- That the weight index alone includes every application state
- That no restart test is necessary
- That the necessary saved state loads correctly and the resumed training step behaves as expected