Bài kiểm tra về sự song song của trình tự và sự chú ý của vòng tròn

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Sự song song của trình tự phân chia dữ liệu theo chiều nào?
   • Thứ nguyên ẩn/tính năng
   • Thứ nguyên mã thông báo (chuỗi)
   • Chỉ kích thước lô
   • Số lượng lớp
2. Ring Chú ý chuyển giao gì giữa các GPU được sắp xếp trong một vòng?
   • Trọng lượng mô hình đầy đủ
   • Trạng thái tối ưu hóa
   • Nhật ký cuối cùng
   • Khối khóa/giá trị
3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
   • Online softmax with a running maximum and normalizer
   • Randomly dropping unseen key blocks
   • Truncating every distant key
   • Replacing all attention scores with zeros
4. Tại sao Ring Chú ý không yêu cầu bất kỳ GPU nào để lưu trữ toàn bộ K/V?
   • Nó loại bỏ hầu hết các phím
   • Nó sử dụng một mô hình nhỏ hơn
   • K/V được truyền theo khối và chỉ một phần kết quả được tích lũy
   • Sự chú ý là gần đúng, không chính xác
5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
   • Whenever the model has any number of parameters
   • Only when every device stores the full sequence
   • By eliminating all transfers between devices
   • When useful block computation overlaps those transfers
6. Việc che giấu nhân quả gây ra sự phức tạp gì cho việc cân bằng tải của Ring Chú ý?
   • Nó làm cho mô hình không thể phân biệt được
   • Các mã thông báo sau này tham gia vào nhiều khóa hơn, gây ra hoạt động không đồng đều trên mỗi GPU
   • Nó loại bỏ sự cần thiết của một chiếc nhẫn
   • Nó nhân đôi số lượng tham số
7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
   • To discard the earlier keys permanently
   • To replace all token embeddings
   • To keep accumulated terms consistent with the updated running maximum
   • Để giảm kích thước từ vựng
8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
   • Later tokens that can attend to more preceding positions
   • All tokens require exactly one key
   • Only padding tokens at the start
   • Earlier tokens because they can see the future