Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra song song về mô hình và đường ống

Giải thích cách phân vùng tensor và đường ống, chuyển giao kích hoạt, lịch trình vi lô, bong bóng đường ống và sự cân bằng trong giao tiếp.

Đường dẫn hướng dẫn liên quanMô hình và sự song song của đường ống
Câu hỏi 1 của 8

Vấn đề cơ bản nào mà mô hình và quy trình song song giải quyết?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Vấn đề cơ bản nào mà mô hình và quy trình song song giải quyết?
    • Một mô hình quá lớn để vừa với bộ nhớ của một GPU
    • Tải dữ liệu từ đĩa chậm
    • Độ dốc bùng nổ trong quá trình đào tạo
    • Có quá ít ví dụ đào tạo
  2. Phân chia song song tensor (trong lớp) hoạt động như thế nào?
    • Nó gán toàn bộ lớp cho các GPU khác nhau
    • Nó phân chia phép toán bên trong một lớp, giống như phép nhân ma trận, trên các GPU
    • Nó sao chép từng lớp trên mọi GPU
    • Nó chạy mỗi lớp hai lần để dự phòng
  3. 'Bong bóng' trong sự song song đường ống ngây thơ là gì?
    • Rò rỉ bộ nhớ phát triển theo thời gian
    • Một bản sao của trạng thái tối ưu hóa
    • Thời gian nhàn rỗi khi GPU xuôi dòng chờ giai đoạn ngược dòng tạo ra kích hoạt
    • Giá trị gradient tăng đột biến
  4. Sự song song của đường ống làm giảm bong bóng như thế nào?
    • Bằng cách sử dụng tốc độ học tập nhỏ hơn
    • Bằng cách loại bỏ một số lớp khỏi mô hình
    • Bằng cách lưu trữ kích hoạt trên CPU
    • Bằng cách chia từng đợt thành các đợt nhỏ trải qua các giai đoạn một cách so le
  5. Tại sao tính song song tensor thường được giữ trong một nút duy nhất?
    • Bởi vì việc giảm toàn bộ các kết quả một phần thường xuyên được hưởng lợi từ các liên kết nội nút nhanh như NVLink
    • Bởi vì nó không yêu cầu bất kỳ giao tiếp nào
    • Bởi vì các nút không thể chia sẻ dữ liệu
    • Vì nó chỉ hỗ trợ một GPU
  6. Khung nào được biết đến nhiều nhất với tính song song tensor trong đào tạo máy biến áp?
    • scikit-tìm hiểu
    • NVIDIA Megatron-LM
    • OpenCV
    • gấu trúc
  7. What data must move between stages in pipeline parallelism during a forward pass?
    • The entire training dataset after each layer
    • Only the optimizer’s learning rate
    • Activation tensors produced by one stage and consumed by the next
    • No data, because stages are independent models
  8. Why does tensor parallelism often require fast communication within its group?
    • It assigns each GPU a separate dataset and never synchronizes
    • It communicates only once when the model is loaded
    • It uses no cross-device operations
    • Devices exchange partial results or activations within layers during computation