Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

PagedAttention và vLLM Quiz

Kiểm tra các khối KV PagedAttention, ánh xạ logic-vật lý và chia sẻ, bao gồm cả sự khác biệt giữa mức tiết kiệm bộ nhớ đệm và tổng dung lượng lưu trữ của mô hình.

Đường dẫn hướng dẫn liên quanPagedattention và Vllm
Câu hỏi 1 của 8

'Bộ đệm KV' lưu trữ gì trong quá trình tạo văn bản?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. 'Bộ đệm KV' lưu trữ gì trong quá trình tạo văn bản?
    • Dữ liệu huấn luyện của mô hình
    • Thông tin đăng nhập của người dùng
    • Các vectơ khóa và giá trị cho các mã thông báo trước đây để các mã thông báo mới có thể tham gia vào chúng
    • Một bản sao nén của trọng lượng mô hình
  2. Khái niệm hệ điều hành nào đã truyền cảm hứng cho PagedAttention?
    • Công cụ chống phân mảnh đĩa
    • Phân trang bộ nhớ ảo
    • Nén tập tin
    • Dự đoán nhánh CPU
  3. PagedAttention giải quyết được vấn đề gì với việc phân bổ bộ đệm KV truyền thống?
    • Kết nối internet chậm
    • Thiếu dữ liệu đào tạo
    • Bảo mật mật khẩu yếu
    • Lãng phí bộ nhớ do dự trữ các khối liền kề lớn cho mỗi yêu cầu
  4. Làm cách nào PagedAttention cho phép nhiều đầu ra chia sẻ bộ nhớ cho một lời nhắc chung?
    • Các trình tự khác nhau trỏ đến cùng một trang vật lý thông qua tính năng sao chép khi ghi
    • Nó xóa lời nhắc sau lần sử dụng đầu tiên
    • Nó lưu lời nhắc trên đĩa
    • Nó đào tạo lại mô hình cho từng đầu ra
  5. vLLM và PagedAttention ban đầu được phát triển ở đâu?
    • Một phòng thí nghiệm học thuật những năm 1990
    • UC Berkeley (xuất bản năm 2023)
    • Đội ngũ tiếp thị của nhà cung cấp phần cứng
    • Một diễn đàn trực tuyến ẩn danh
  6. Lợi ích thực tế chính của vLLM đối với người phục vụ LLM là gì?
    • Độ chính xác của mô hình lớn hơn trên điểm chuẩn
    • Ghi nhãn dữ liệu tự động
    • Phần cứng GPU miễn phí
    • Thông lượng cao hơn và nhiều yêu cầu đồng thời hơn trên mỗi GPU
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence