Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra song song dữ liệu được phân chia hoàn toàn

Bao gồm phân mảnh FSDP, thu thập toàn bộ và giảm phân tán, chồng chéo giao tiếp và cân bằng giữa bộ nhớ và mạng trong đào tạo mô hình phân tán lớn.

Đường dẫn hướng dẫn liên quanDữ liệu được chia sẻ hoàn toàn song song
Câu hỏi 1 của 8

Phân đoạn FSDP trên các GPU mà tính năng song song dữ liệu tiêu chuẩn KHÔNG làm được gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Phân đoạn FSDP trên các GPU mà tính năng song song dữ liệu tiêu chuẩn KHÔNG làm được gì?
    • Các tham số, độ dốc và trạng thái tối ưu hóa
    • Chỉ các lô đầu vào
    • Chỉ có biểu đồ tỷ lệ học tập
    • Các tập dữ liệu huấn luyện trên đĩa
  2. FSDP sử dụng hoạt động chung nào để xây dựng lại trọng số đầy đủ của một lớp ngay trước khi tính toán nó?
    • Chỉ phát sóng
    • Tập hợp tất cả
    • phân tán
    • rào cản
  3. Tại sao FSDP giải phóng toàn bộ trọng số đã thu thập ngay sau khi tính toán một lớp?
    • Để làm hỏng các gradient không sử dụng
    • Để buộc một vòng đào tạo chậm hơn
    • Để duy trì dung lượng bộ nhớ vĩnh viễn chỉ ở một phân đoạn trên mỗi thiết bị
    • Bởi vì PyTorch xóa chúng một cách ngẫu nhiên
  4. FSDP phần lớn được lấy cảm hứng từ phương pháp tối ưu hóa bộ nhớ nào trước đó?
    • MapReduce của Google
    • Apache Spark RDD
    • Nhân CUDA của NVIDIA
    • Zero của Microsoft (Trình tối ưu hóa dự phòng bằng không)
  5. FSDP che giấu phần lớn độ trễ của mạng khỏi việc thu thập trọng số bằng cách nào?
    • Bằng cách chồng chéo giao tiếp với tính toán, tìm nạp trước các tham số của lớp tiếp theo
    • Bằng cách vô hiệu hóa tính năng quay ngược
    • Bằng cách nén trọng lượng xuống một bit
    • Chỉ đào tạo trên CPU
  6. Hoạt động tập thể nào phân phối các lát chuyển màu kết hợp trở lại GPU sở hữu của chúng theo chiều ngược lại?
    • Sao chép toàn diện
    • Giảm phân tán
    • Bản sao GPU đơn
    • Chỉ tập hợp
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication