チェックポイントシャーディングと再開可能なトレーニングに関するクイズ

クイズに答えると、答えと解説が表示されます。

1. 大規模モデルのチェックポイントがシャードに分割されているのはなぜですか?
   • 小さな入力でモデルのトレーニングを高速化するには
   • モデルの重みをユーザーに対して非表示にするには
   • シャーディングにより精度が向上するため
   • 単一のチェックポイントは、1 つのファイルまたはマシンで効率的に処理するには大きすぎる可能性があるため、
2. Which extra state is typically needed for training resumption beyond model weights?
   • 最終的な精度スコアのみ
   • Optimizer and scheduler state, step progress, RNG state, and relevant data-loader progress
   • Only a model-weight shard index
   • A screenshot of the training dashboard
3. 長時間の仕事に対する再開可能なトレーニングの主な利点は何ですか?
   • 検証セットが不要になります
   • モデルが決して過適合しないことを保証します
   • クラッシュまたはプリエンプションによって最初からの再起動が強制されることはありません
   • オプティマイザーを排除します
4. In a sharded distributed checkpoint, how can ranks avoid gathering the entire state on one worker?
   • By saving their assigned local tensor shards with checkpoint metadata
   • By each emailing a full model copy
   • By deleting optimizer state before every save
   • By disabling all state serialization
5. インデックス ファイルはシャード チェックポイントでどのような役割を果たしますか?
   • ユーザーのパスワードを保存します
   • 各パラメータ名をそれを含むシャード ファイルにマッピングします。
   • データセット内の画像を圧縮します
   • 学習速度をスケジュールします
6. モデル シャードのメモリ マップされた安全な読み込みにはどの形式が一般的に使用されますか?
   • MP3
   • CSV
   • セーフティテンサー
   • ZIP のみのアーカイブ
7. A package contains safetensors weight shards and an index, but no optimizer state. What can it support by itself?
   • Loading model weights, without fully restoring optimizer training history
   • Guaranteed exact resumption of every interrupted run
   • Recovering the next batch position automatically
   • Reconstructing every random-number-generator state
8. A sharded checkpoint loader supports a new rank layout. What should the team verify before trusting recovery?
   • That fewer ranks guarantee identical floating-point results
   • That the weight index alone includes every application state
   • That no restart test is necessary
   • That the necessary saved state loads correctly and the resumed training step behaves as expected