Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra về thế hệ tăng cường bộ đệm (CAG)

Kiểm tra hiểu biết của bạn về việc tạo tăng cường bộ đệm: cách tải trước và sử dụng lại bộ đệm KV, đặt lại bộ đệm giữa các truy vấn và giới hạn kích thước kho dữ liệu.

Đường dẫn hướng dẫn liên quanThế hệ tăng cường bộ đệm
Câu hỏi 1 của 8

What does CAG use instead of per-query retrieval?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. What does CAG use instead of per-query retrieval?
    • A keyword search engine
    • Fine-tuning the model on the documents
    • A new vector index per question
    • Preloading the whole knowledge base into the KV cache once and reusing it
  2. What is the KV cache in a transformer?
    • A database of user accounts
    • The stored attention keys and values computed for tokens the model has already read
    • A list of document URLs
    • The model's trained weights
  3. Why does a CAG system truncate the cache after each answer?
    • To save the answer for training
    • To delete the documents permanently
    • To restore the documents-only state so the next query does not see the previous question and answer
    • To switch to a different model
  4. What is CAG's main limitation?
    • The entire corpus must fit in the model's context window
    • It requires a vector database
    • It cannot answer questions quickly
    • Nó thay đổi trọng lượng của mô hình
  5. Why does CAG answer faster than pasting the documents into every request?
    • It skips generating output tokens
    • The model only needs to compute the new question tokens on top of the cached prefix
    • Nó sử dụng một mô hình nhỏ hơn
    • It retrieves fewer documents
  6. Which knowledge base is the best fit for CAG?
    • A news archive updated every hour
    • Millions of customer records with per-user permissions
    • An entire web crawl
    • A small, stable product manual that rarely changes
  7. Which statement about CAG is a misconception?
    • CAG removes retrieval errors because all documents are present
    • Changing documents requires rebuilding the cache
    • CAG fine-tunes the model's weights on the documents
    • Hosted prompt caching is related to the idea
  8. Which techniques reduce the memory needed for a large KV cache?
    • Grouped-query attention and cache quantization
    • Thêm nhiều sự chú ý hơn
    • Sử dụng lời nhắc dài hơn
    • Raising the sampling temperature