Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra tối ưu hóa Zero và Sharded

Bao gồm các giai đoạn Zero, bộ nhớ trạng thái Adam, thu thập tham số, giảm độ dốc, tùy chọn giảm tải và chi phí truyền thông.

Đường dẫn hướng dẫn liên quanTrình tối ưu hóa Zero và Sharded
Câu hỏi 1 của 8

ZeRO loại bỏ sự dư thừa nào so với song song dữ liệu đơn giản?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. ZeRO loại bỏ sự dư thừa nào so với song song dữ liệu đơn giản?
    • Sao y bản sao đầy đủ của trạng thái tối ưu hóa, độ dốc và tham số trên mọi GPU
    • Sao chép dữ liệu huấn luyện trùng lặp trên mỗi GPU
    • Cáp mạng dự phòng giữa các nút
    • Chuyển tiếp lặp đi lặp lại trong cùng một đợt
  2. Tại sao trạng thái tối ưu hóa thường chiếm nhiều bộ nhớ nhất đối với Adam?
    • Adam không lưu trữ trạng thái bổ sung nào cả
    • Adam giữ các giá trị bổ sung cho mỗi tham số (như động lượng và phương sai), thường gấp vài lần kích thước mô hình
    • Adam sao chép toàn bộ tập dữ liệu
    • Adam yêu cầu lưu trữ mọi gradient trong quá khứ mãi mãi
  3. Phân đoạn ZeRO Giai đoạn 3 mà Giai đoạn 1 và 2 không có là gì?
    • Dữ liệu huấn luyện
    • Hàm mất mát
    • Bản thân các tham số của mô hình
    • Bảng tỷ lệ học tập
  4. Trong ZeRO Giai đoạn 3, làm cách nào GPU có được đầy đủ thông số cần thiết để chuyển tiếp một lớp?
    • Nó không bao giờ cần các thông số đầy đủ
    • Nó tải chúng xuống từ internet
    • Nó tính toán lại chúng từ đầu mỗi lần
    • Nó thực hiện tập hợp tất cả để thu thập các lát bị thiếu, sau đó loại bỏ chúng
  5. Tính năng PyTorch nào thực sự triển khai phân đoạn kiểu ZeRO?
    • FSDP (Song song dữ liệu được phân chia hoàn toàn)
    • Trình tải dữ liệu
    • TorchScript
    • Tự động tốt nghiệp
  6. Sự đánh đổi cốt lõi mà ZeRO thực hiện để tiết kiệm bộ nhớ là gì?
    • Nó hy sinh độ chính xác của mô hình để lấy tốc độ
    • Nó bổ sung thêm thông tin liên lạc để thu thập và phân tán các mảnh vỡ khi cần thiết
    • Nó loại bỏ các lớp khỏi mô hình
    • Nó chỉ hoạt động với các mô hình rất nhỏ
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients