Sự song song Tensor cho bài kiểm tra mô hình lớn

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Tính song song tensor phân chia trên các GPU như thế nào?
   • Ma trận trọng số trong một lớp
   • Toàn bộ lớp được đặt trên các GPU riêng biệt
   • Bộ dữ liệu đào tạo khác nhau
   • Tốc độ học của trình tối ưu hóa
2. Trong phân chia MLP kiểu Megatron, hai ma trận trọng số được phân chia như thế nào để giảm thiểu giao tiếp?
   • Cả hai theo cột
   • Theo cột đầu tiên, theo hàng thứ hai
   • Cả hai hàng khôn ngoan
   • Chúng hoàn toàn không được phân vùng
3. Tại sao tính song song tensor thường được giữ trong một nút duy nhất?
   • Các nút không thể chạy GPU
   • GPU ở các nút khác nhau sử dụng phép toán khác nhau
   • Nó cần liên lạc băng thông cao thường xuyên được phục vụ tốt nhất bởi NVLink
   • Đó là một yêu cầu pháp lý
4. Cơ chế chú ý thường được song song hóa theo cơ chế song song tensor như thế nào?
   • Bằng cách cung cấp cho mọi GPU khả năng tính toán chú ý đầy đủ một cách dư thừa
   • Bằng cách bỏ qua sự chú ý hoàn toàn
   • Bằng cách chuyển sự chú ý sang tích chập
   • Bằng cách phân chia các đầu chú ý, mỗi GPU xử lý một tập hợp con
5. Phép toán tập thể nào thường kết hợp các kết quả từng phần trong sự song song tensor?
   • Giảm toàn bộ
   • Một bản sao tập tin
   • Tham gia cơ sở dữ liệu
   • Tra cứu DNS
6. Làm thế nào sự song song tensor thường phù hợp với 'song song 3D'?
   • Nó thay thế tất cả các hình thức song song khác
   • Nó được kết hợp với đường ống và song song dữ liệu
   • Nó chỉ hoạt động mà không có bất kỳ sự song song nào khác
   • Nó chỉ được sử dụng cho các mô hình hình ảnh
7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
   • The GPUs each hold a different optimizer
   • The result is a vocabulary probability that must be sorted
   • Each GPU computed a partial contribution to the same output, so the pieces must be summed
   • The model needs to average separate datasets
8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
   • Tensor parallelism never communicates between GPUs
   • The attention mask must be copied after every token
   • Every GPU trains a separate model
   • Collectives are required repeatedly within layers, so communication latency accumulates