Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra tối ưu hóa bộ đệm KV

Kiểm tra sự phát triển của bộ đệm KV, phân bổ phân trang, chia sẻ truy vấn được nhóm, điều kiện tái sử dụng tiền tố, lượng tử hóa và chia tỷ lệ bộ nhớ theo ngữ cảnh và đồng thời.

Đường dẫn hướng dẫn liên quanTối ưu hóa bộ đệm Kv
Câu hỏi 1 của 8

Bộ đệm KV lưu trữ những gì và tại sao?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Bộ đệm KV lưu trữ những gì và tại sao?
    • Các khóa và giá trị chú ý đã được tính toán trước đó để chúng không bị tính toán lại ở mỗi bước
    • Dữ liệu huấn luyện của mô hình để đào tạo lại
    • Mật khẩu người dùng để xác thực
    • Chỉ đầu ra văn bản cuối cùng
  2. Tại sao bộ đệm KV có thể trở thành vấn đề về bộ nhớ?
    • Nó làm hỏng GPU vĩnh viễn
    • Nó phát triển theo độ dài chuỗi, kích thước lô và lớp, đôi khi vượt quá trọng lượng mô hình
    • Nó chỉ hoạt động trên văn bản ngắn hơn 10 từ
    • Nó sao chép hệ điều hành
  3. PagedAttention mượn khái niệm hệ điều hành nào?
    • Tiện ích chống phân mảnh đĩa
    • Quét virus
    • Phân trang bộ nhớ ảo với các khối có kích thước cố định
    • Chia tỷ lệ độ phân giải màn hình
  4. Làm cách nào để Truy vấn theo nhóm và Chú ý nhiều truy vấn giảm kích thước bộ nhớ đệm KV?
    • Bằng cách xóa cơ chế chú ý
    • Bằng cách lưu trữ bộ đệm dưới dạng hình ảnh
    • Bằng cách đào tạo trên ít dữ liệu hơn
    • Bằng cách cho phép nhiều đầu truy vấn chia sẻ ít đầu khóa/giá trị hơn
  5. Lợi ích của việc chia sẻ tiền tố trong bộ đệm KV là gì?
    • Các yêu cầu có cùng dấu nhắc bắt đầu có thể sử dụng lại các khối được lưu trong bộ nhớ đệm giống nhau
    • Nó mã hóa mô hình
    • Nó làm chậm mọi yêu cầu như nhau
    • Nó loại bỏ sự cần thiết phải chú ý
  6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
    • It doubles the raw bytes
    • It roughly halves the raw bytes, before metadata and other runtime memory
    • It removes the key and value tensors entirely
    • It guarantees twice the inference speed
  7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
    • It stays constant because model weights are fixed
    • It roughly doubles
    • Raw KV storage grows to roughly four times its previous size
    • It becomes one quarter as large
  8. What must generally match for two requests to reuse the same cached prefix blocks?
    • Only the user account name
    • The requests must have different model weights
    • The prompts must have the same character count but different tokens
    • Their tokenized prefix and relevant model/cache configuration must be compatible