Bài kiểm tra chú ý chớp nhoáng

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Nút thắt chính mà Flash Chú ý nhắm đến là gì?
   • Đọc và ghi ma trận chú ý lớn để làm chậm bộ nhớ GPU
   • Số phép nhân dấu phẩy động được chú ý
   • Chi phí tải trọng lượng mô hình từ đĩa
   • Độ trễ mạng giữa nhiều GPU
2. Làm cách nào để Flash Chú ý tránh lưu trữ toàn bộ ma trận chú ý N-by-N?
   • Nó thu hút sự chú ý bằng các phép chiếu ngẫu nhiên
   • Nó xử lý các truy vấn, khóa và giá trị trong các ô nhỏ và kết hợp một phần kết quả
   • Nó bỏ qua hầu hết các cặp token
   • Nó nén ma trận bằng lượng tử hóa
3. Kỹ thuật nào cho phép Flash Chú ý tính toán softmax một cách chính xác mà không cần xem toàn bộ hàng cùng một lúc?
   • Bảng tra cứu hàm mũ được tính toán trước
   • Bỏ softmax và sử dụng xấp xỉ tuyến tính
   • Một softmax đang chạy (trực tuyến) theo dõi tổng và giá trị tối đa đang chạy
   • Sắp xếp điểm trước khi chuẩn hóa
4. So với chú ý tiêu chuẩn, đầu ra của Flash Chú ý là:
   • Một phép tính gần đúng đánh đổi độ chính xác để lấy tốc độ
   • Chính xác hơn vì độ chính xác cao hơn
   • Chỉ hợp lệ cho các chuỗi ngắn
   • Giống nhau về mặt toán học, chỉ được tính toán hiệu quả hơn
5. Tại sao Flash Chú ý lại giúp ích nhiều nhất với các chuỗi dài?
   • Bởi vì trí nhớ chú ý tăng theo bậc hai với độ dài chuỗi
   • Bởi vì các chuỗi dài hơn cần ít lớp hơn
   • Bởi vì softmax trở nên không cần thiết đối với đầu vào dài
   • Bởi vì GPU chạy chậm hơn trên các chuỗi ngắn
6. Thiết kế 'IO-aware' của Flash Chú ý ưu tiên giảm thiểu điều gì?
   • Số lượng tham số mô hình
   • Bộ nhớ đọc và ghi giữa SRAM và HBM
   • Độ sâu của mạng lưới thần kinh
   • Kích thước từ vựng của mã thông báo
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation