Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra chú ý tiềm ẩn nhiều đầu

Khám phá bộ nhớ đệm tiềm ẩn được chia sẻ của MLA, tái thiết xếp hạng thấp, hấp thụ phép chiếu, đường dẫn mã hóa vị trí và tiết kiệm bộ nhớ suy luận.

Đường dẫn hướng dẫn liên quanSự chú ý tiềm ẩn của nhiều đầu
Câu hỏi 1 của 8

Vấn đề chính mà Hệ thống Chú ý Tiềm ẩn Nhiều Đầu được thiết kế để giảm thiểu là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Vấn đề chính mà Hệ thống Chú ý Tiềm ẩn Nhiều Đầu được thiết kế để giảm thiểu là gì?
    • Chi phí bộ nhớ của bộ đệm khóa-giá trị trong quá trình suy luận
    • Sự khan hiếm dữ liệu đào tạo
    • Số lượng tham số mô hình
    • Kích thước từ vựng của tokenizer
  2. MLA thu nhỏ bộ đệm KV như thế nào?
    • Nó xóa các mã thông báo cũ hơn khỏi bộ đệm
    • Nó lưu trữ một vectơ tiềm ẩn nhỏ cấp thấp thay vì các khóa và giá trị đầy đủ trên đầu
    • Nó sử dụng trọng số 1 bit cho mọi thứ
    • Nó hoàn toàn bỏ qua sự chú ý vào một số token
  3. Mô hình nào lần đầu tiên giới thiệu Chú ý tiềm ẩn nhiều đầu?
    • GPT-2
    • BERT
    • DeepSeek-V2
    • LLaMA 1
  4. Tại sao MLA cần một đường dẫn 'tách rời' riêng để nhúng vị trí quay?
    • Bởi vì các vị trí không liên quan đến sự chú ý
    • Vì RoPE nhân đôi vốn từ vựng
    • Bởi vì nó tăng tốc độ tối ưu hóa
    • Bởi vì xoay không thể gập thành hình chiếu lên hấp thụ như phần còn lại của phím có thể
  5. DeepSeek-V2 đã báo cáo mức độ giảm bộ nhớ KV-cache từ MLA so với sự chú ý nhiều đầu tiêu chuẩn?
    • Trên 90%
    • Khoảng 5%
    • Chính xác là 50%
    • Không giảm, chỉ tăng tốc độ
  6. Lợi ích thiết thực nào trực tiếp đến từ bộ nhớ đệm cho mỗi mã thông báo nhỏ hơn của MLA?
    • Loại bỏ sự cần thiết của bất kỳ GPU nào
    • Kích thước lô suy luận lớn hơn và bối cảnh dài hơn trên cùng một phần cứng
    • Dịch tự động sang tất cả các ngôn ngữ
    • Loại bỏ hoạt động softmax
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections