Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Dung sai lỗi và lỗi GPU ở bài kiểm tra quy mô
Thiết kế chương trình đào tạo phân tán linh hoạt với các điểm kiểm tra lâu dài, tín hiệu sức khỏe, chính sách khởi động lại và hành vi phục hồi đã được xác minh.
Câu hỏi 1 của 8
Tại sao một sự cố worker duy nhất có thể làm gián đoạn một tác vụ huấn luyện phân tán?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Tại sao một sự cố worker duy nhất có thể làm gián đoạn một tác vụ huấn luyện phân tán?
- Every rank can continue an update after any peer disappears
- A process exit never affects other workers
- Workers coordinate computation and synchronization across devices
- Distributed updates require no communication between participants
- Trạng thái nào có thể cần thiết để khởi động lại huấn luyện một cách trung thực?
- Model weights without optimizer or scheduler state
- Model, optimizer, scheduler, progress, and relevant random state
- Epoch count without data progress
- Train-test split metadata without model state
- Where should recovery checkpoints be stored for node-loss recovery?
- Ephemeral node disk
- GPU memory
- A host page cache
- Durable storage that survives the failed node
- Tại sao các chính sách khởi động lại nên phân biệt giữa các lỗi hạ tầng và các lỗi tất định?
- Blind retries can repeat a code or data failure indefinitely
- A transient timeout can never recover
- Every process crash corrupts all training data
- Restart repairs malformed input records
- Điều gì có thể thay đổi khi huấn luyện co giãn điều chỉnh số lượng worker?
- The number of data-loader workers only
- The GPU model changes when workers are removed
- Effective batch, data sharding, and training schedule
- The parameter count changes with rank assignment
- Tại sao phải kiểm tra khả năng phục hồi bằng cách kết thúc một worker trong môi trường staging?
- A staging run proves that hardware failures cannot recur
- A controlled worker termination verifies checkpoint consistency and restart behavior
- A restart test removes the need to keep durable checkpoints
- A recovery test confirms convergence without restoring state
- What can GPU health monitoring reveal?
- Class-specific prediction errors
- Data split leakage
- Optimizer convergence speed
- Thermal, memory, power, driver, or interconnect issues
- What should be checked after a job resumes from a checkpoint?
- Training progress and evaluation behavior remain consistent
- A single rank restarted while others retained stale state
- The checkpoint timestamp changed after loading
- The worker count remains identical after a membership change