Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

FlashCâu đố chú ý

Kiểm tra cách FlashAttention giảm lưu lượng bộ nhớ băng thông cao trong khi tính toán mức độ chú ý chính xác và phần cứng nào thay đổi mục tiêu FlashAttention-3.

Đường dẫn hướng dẫn liên quansự chú ý chớp nhoáng
Câu hỏi 1 của 8

Nút thắt cổ chai chính mà FlashAttention nhắm đến trong sự chú ý tiêu chuẩn là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Nút thắt cổ chai chính mà FlashAttention nhắm đến trong sự chú ý tiêu chuẩn là gì?
    • Đọc và ghi ma trận chú ý lớn để làm chậm bộ nhớ GPU
    • Số phép nhân dấu phẩy động
    • Chi phí mã hóa văn bản đầu vào
    • Độ trễ mạng giữa các GPU
  2. Đầu ra của FlashAttention so với sự chú ý tiêu chuẩn như thế nào?
    • Đó là một phép tính gần đúng đánh đổi độ chính xác lấy tốc độ
    • Nó giống hệt nhau về mặt toán học (chính xác)
    • Nó chỉ hoạt động cho các chuỗi ngắn
    • Nó thay đổi trọng lượng của mô hình
  3. FlashAttention khai thác bộ nhớ GPU nào bằng cách xử lý dữ liệu theo ô?
    • Bộ nhớ băng thông cao lớn nhưng chậm (HBM)
    • RAM của CPU
    • SRAM trên chip nhỏ nhưng rất nhanh
    • Lưu trữ đĩa
  4. Kỹ thuật nào cho phép FlashAttention tính toán softmax mà không xem tất cả điểm cùng một lúc?
    • Bỏ qua hoàn toàn softmax
    • Làm tròn tất cả các điểm về 0
    • Tính toán trước softmax trên CPU
    • Softmax trực tuyến (gia tăng) với chức năng thay đổi tỷ lệ đang chạy
  5. Vì ma trận chú ý đầy đủ không bao giờ được lưu trữ trong HBM nên mức sử dụng bộ nhớ sẽ có quy mô gần như sau:
    • Tuyến tính với độ dài chuỗi
    • Bậc hai với độ dài chuỗi
    • Hàm mũ với độ dài chuỗi
    • Độc lập với độ dài chuỗi
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware