Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Kiểm tra điểm kiểm tra và bài kiểm tra đào tạo có thể tiếp tục

Thực hành siêu dữ liệu điểm kiểm tra, khôi phục trạng thái đào tạo và xác thực khởi động lại, bao gồm sự khác biệt giữa phân đoạn trọng lượng và trạng thái có thể tiếp tục.

Câu hỏi 1 của 8

Tại sao các điểm kiểm tra mô hình lớn được chia thành các phân đoạn?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Tại sao các điểm kiểm tra mô hình lớn được chia thành các phân đoạn?
    • Để làm cho mô hình huấn luyện nhanh hơn với đầu vào nhỏ
    • Để ẩn trọng lượng mô hình khỏi người dùng
    • Bởi vì sharding cải thiện độ chính xác
    • Bởi vì một điểm kiểm tra duy nhất có thể quá lớn để một tệp hoặc máy có thể xử lý hiệu quả
  2. Which extra state is typically needed for training resumption beyond model weights?
    • Chỉ có điểm chính xác cuối cùng
    • Optimizer and scheduler state, step progress, RNG state, and relevant data-loader progress
    • Only a model-weight shard index
    • A screenshot of the training dashboard
  3. Lợi ích chính của việc đào tạo có thể tiếp tục làm việc lâu dài là gì?
    • Nó loại bỏ sự cần thiết của một bộ xác nhận
    • Nó đảm bảo mô hình không bao giờ phù hợp quá mức
    • Sự cố hoặc quyền ưu tiên không buộc phải khởi động lại từ đầu
    • Nó loại bỏ trình tối ưu hóa
  4. In a sharded distributed checkpoint, how can ranks avoid gathering the entire state on one worker?
    • By saving their assigned local tensor shards with checkpoint metadata
    • By each emailing a full model copy
    • By deleting optimizer state before every save
    • By disabling all state serialization
  5. Tệp chỉ mục đóng vai trò gì trong các điểm kiểm tra được phân chia?
    • Nó lưu trữ mật khẩu của người dùng
    • Nó ánh xạ từng tên tham số vào tệp phân đoạn chứa nó
    • Nó nén hình ảnh trong tập dữ liệu
    • Nó lên lịch cho tốc độ học tập
  6. Định dạng nào thường được sử dụng để tải các phân đoạn mô hình được ánh xạ vào bộ nhớ một cách an toàn?
    • MP3
    • CSV
    • dây an toàn
    • Lưu trữ chỉ ở dạng ZIP
  7. A package contains safetensors weight shards and an index, but no optimizer state. What can it support by itself?
    • Loading model weights, without fully restoring optimizer training history
    • Guaranteed exact resumption of every interrupted run
    • Recovering the next batch position automatically
    • Reconstructing every random-number-generator state
  8. A sharded checkpoint loader supports a new rank layout. What should the team verify before trusting recovery?
    • That fewer ranks guarantee identical floating-point results
    • That the weight index alone includes every application state
    • That no restart test is necessary
    • That the necessary saved state loads correctly and the resumed training step behaves as expected