Bài kiểm tra song song dữ liệu

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Trong song song dữ liệu tiêu chuẩn, mỗi GPU nắm giữ những gì?
   • Một bản sao hoàn chỉnh của mô hình, xử lý một lát khác của lô
   • Một lát cắt khác của các lớp của mô hình
   • Chỉ trạng thái tối ưu hóa, với trọng số được lưu trữ tập trung
   • Phiên bản nén của mô hình với ít tham số hơn
2. Hoạt động giao tiếp nào giữ cho các bản sao mô hình được đồng bộ hóa ở mỗi bước?
   • Broadcast, sao chép dữ liệu của một GPU sang tất cả các dữ liệu khác
   • Giảm toàn bộ, tính độ dốc trung bình trên tất cả các GPU
   • Phân tán, phân chia dữ liệu giữa các GPU
   • Không cần giao tiếp giữa các GPU
3. Giới hạn bộ nhớ còn lại trong độ song song dữ liệu thuần túy là gì?
   • Mô hình đầy đủ được chia nhỏ tự động trên các GPU
   • Chỉ batch đầu vào sử dụng bộ nhớ thiết bị
   • Mỗi GPU giữ các tham số mô hình và trạng thái bộ tối ưu hoá được sao chép, giới hạn kích thước mô hình phù hợp
   • Mỗi worker lưu trữ các lớp mô hình khác nhau theo mặc định
4. Những yếu tố nào NCCL sử dụng khi chọn thuật toán tập hợp?
   • Chỉ hạt giống ngẫu nhiên và tốc độ học
   • Chỉ tổng số tham số mô hình
   • Loại bộ tối ưu hoá và điểm số xác nhận
   • Kích thước tin nhắn và cấu trúc mạng
5. PyTorch DistributedDataParallel ẩn độ trễ giao tiếp như thế nào?
   • Bằng cách chồng chéo giảm toàn bộ gradient với quá trình lùi lại đang diễn ra
   • Bằng cách bỏ qua đồng bộ hóa độ dốc trên các bước xen kẽ
   • Bằng cách nén tất cả các gradient thành một số duy nhất
   • Bằng cách chạy chuyển tiếp trên CPU
6. Với kích thước batch cục bộ B trên mỗi trong W worker song song dữ liệu, batch toàn cục cho một bước đồng bộ là gì?
   • B chia cho W
   • B nhân với W, trước bất kỳ yếu tố tích lũy gradient nào
   • Luôn chính xác W mẫu
   • Số lượng tham số mô hình chia cho B
7. Tại sao việc thêm nhiều GPU song song dữ liệu có thể không tăng throughput tỷ lệ thuận?
   • All-reduce làm biến mất các tham số mô hình
   • Mô hình chỉ được sao chép vào một worker
   • Giao tiếp gradient, tải dữ liệu và đồng bộ thêm chi phí
   • Nhiều worker luôn làm giảm batch toàn cục xuống không
8. Gradient accumulation cho phép vòng lặp huấn luyện song song dữ liệu làm gì?
   • Chia nhỏ tham số tự động trên tất cả các worker
   • Bỏ qua tính toán tiến và lùi
   • Thay thế mô hình bằng một thao tác all-reduce
   • Combine gradients from multiple microbatches before an optimizer update