Вікторина, пов’язана з посібником · Середній Рівень
Контрольні точки Sharding і Resumable Training Quiz
Відпрацюйте метадані контрольних точок, відновлення стану навчання та перевірку перезапуску, зокрема різницю між сегментами ваги та станом, який можна відновити.
Питання 1 з 8
Чому контрольні точки великої моделі розбиті на сегменти?
Перегляньте кожне запитання8 запитання
Відповіді та пояснення з’являються під час виконання тесту.
- Чому контрольні точки великої моделі розбиті на сегменти?
- Щоб модель тренувалася швидше на малих входах
- Щоб приховати ваги моделі від користувачів
- Тому що шардинг покращує точність
- Оскільки одна контрольна точка може бути занадто великою для ефективної обробки одним файлом або машиною
- Which extra state is typically needed for training resumption beyond model weights?
- Тільки остаточна оцінка точності
- Optimizer and scheduler state, step progress, RNG state, and relevant data-loader progress
- Only a model-weight shard index
- A screenshot of the training dashboard
- Яка головна перевага відновленого навчання для тривалої роботи?
- Це усуває потребу в наборі перевірки
- Це гарантує, що модель ніколи не підійде
- Збій або випередження не призводять до перезапуску з нуля
- Він усуває оптимізатор
- In a sharded distributed checkpoint, how can ranks avoid gathering the entire state on one worker?
- By saving their assigned local tensor shards with checkpoint metadata
- By each emailing a full model copy
- By deleting optimizer state before every save
- By disabling all state serialization
- Яку роль відіграє індексний файл у сегментованих контрольних точках?
- Він зберігає пароль користувача
- Він зіставляє кожне ім’я параметра з шард-файлом, який його містить
- Він стискає зображення в наборі даних
- Він планує швидкість навчання
- Який формат зазвичай використовується для безпечного, відображеного в пам’яті завантаження фрагментів моделі?
- MP3
- CSV
- сейфтензори
- Архіви лише у форматі ZIP
- A package contains safetensors weight shards and an index, but no optimizer state. What can it support by itself?
- Loading model weights, without fully restoring optimizer training history
- Guaranteed exact resumption of every interrupted run
- Recovering the next batch position automatically
- Reconstructing every random-number-generator state
- A sharded checkpoint loader supports a new rank layout. What should the team verify before trusting recovery?
- That fewer ranks guarantee identical floating-point results
- That the weight index alone includes every application state
- That no restart test is necessary
- That the necessary saved state loads correctly and the resumed training step behaves as expected