Шардинг контрольных точек и возобновляемый обучающий тест

Ответы и пояснения появляются по мере прохождения теста.

1. Почему контрольные точки большой модели разбиваются на сегменты?
   • Чтобы ускорить обучение модели на небольших входных данных
   • Чтобы скрыть вес модели от пользователей
   • Потому что шардинг повышает точность
   • Потому что одна контрольная точка может быть слишком большой для эффективной обработки одного файла или машины.
2. Which extra state is typically needed for training resumption beyond model weights?
   • Только итоговая оценка точности
   • Optimizer and scheduler state, step progress, RNG state, and relevant data-loader progress
   • Only a model-weight shard index
   • A screenshot of the training dashboard
3. Какова основная польза возобновляемого обучения для длительной работы?
   • Это устраняет необходимость в наборе проверки
   • Это гарантирует, что модель никогда не переобуется.
   • Сбой или прерывание не приводят к принудительному перезапуску с нуля.
   • Это исключает оптимизатор
4. In a sharded distributed checkpoint, how can ranks avoid gathering the entire state on one worker?
   • By saving their assigned local tensor shards with checkpoint metadata
   • By each emailing a full model copy
   • By deleting optimizer state before every save
   • By disabling all state serialization
5. Какую роль индексный файл играет в сегментированных контрольных точках?
   • Он хранит пароль пользователя
   • Он сопоставляет каждое имя параметра с файлом сегмента, который его содержит.
   • Он сжимает изображения в наборе данных.
   • Он планирует скорость обучения
6. Какой формат обычно используется для безопасной загрузки фрагментов модели с отображением в памяти?
   • МП3
   • CSV-файл
   • предохранители
   • Только ZIP-архивы
7. A package contains safetensors weight shards and an index, but no optimizer state. What can it support by itself?
   • Loading model weights, without fully restoring optimizer training history
   • Guaranteed exact resumption of every interrupted run
   • Recovering the next batch position automatically
   • Reconstructing every random-number-generator state
8. A sharded checkpoint loader supports a new rank layout. What should the team verify before trusting recovery?
   • That fewer ranks guarantee identical floating-point results
   • That the weight index alone includes every application state
   • That no restart test is necessary
   • That the necessary saved state loads correctly and the resumed training step behaves as expected