Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Câu đố về bộ đệm KV

Xem lại việc sử dụng lại bộ đệm KV trong quá trình giải mã tự động, áp lực bộ nhớ, chia sẻ nhiều yêu cầu và cân bằng phân bổ phân trang.

Đường dẫn hướng dẫn liên quanBộ đệm Kv
Câu hỏi 1 của 8

Bộ đệm KV lưu trữ những gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Bộ đệm KV lưu trữ những gì?
    • Các vectơ khóa và giá trị được tính toán cho các mã thông báo trước đó
    • Ma trận trọng số đầy đủ của mô hình
    • Lịch sử trò chuyện của người dùng ở dạng văn bản thuần túy
    • Xác suất đầu ra cuối cùng
  2. Bộ đệm KV chủ yếu giải quyết vấn đề gì?
    • Nó cải thiện ngữ pháp của văn bản được tạo
    • Nó tránh việc tính toán lại các khóa và giá trị cho tất cả các mã thông báo trước đó ở mỗi bước
    • Nó làm tăng vốn từ vựng của mô hình
    • Nó mã hóa cuộc trò chuyện
  3. Nhược điểm chính của bộ đệm KV là gì?
    • Nó làm cho thế hệ chậm hơn
    • Nó làm giảm chất lượng đầu ra
    • Việc sử dụng bộ nhớ của nó tăng tuyến tính với độ dài ngữ cảnh
    • Nó chỉ hoạt động trên CPU
  4. Kỹ thuật nào làm giảm kích thước bộ đệm KV bằng cách chia sẻ khóa và giá trị giữa các đầu chú ý?
    • Bỏ học
    • Tìm kiếm tia
    • Mã thông báo
    • Truy vấn được nhóm hoặc chú ý nhiều truy vấn
  5. Hai giai đoạn suy luận của máy biến áp liên quan đến bộ đệm KV là gì?
    • Điền trước (xử lý lời nhắc) và giải mã (tạo một mã thông báo mỗi lần)
    • Đào tạo và kiểm tra
    • Mã hóa và nén
    • Tải lên và tải xuống
  6. PagedAttention của vLLM làm gì cho bộ đệm KV?
    • Xóa bộ đệm sau mỗi mã thông báo
    • Phân bổ bộ đệm trong các khối không liền kề để giảm phân mảnh bộ nhớ
    • Chuyển đổi bộ đệm thành văn bản
    • Nhân đôi số lượng tham số của mô hình
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use