Quiz połączony z przewodnikiem · Ciężko Poziom

Quiz dotyczący generacji rozszerzonej pamięci podręcznej (CAG).

Sprawdź swoją wiedzę na temat generowania wspomaganego pamięcią podręczną: w jaki sposób pamięci podręczne KV są wstępnie ładowane i ponownie wykorzystywane, resetowanie pamięci podręcznej między zapytaniami oraz ograniczenia rozmiaru korpusu.

Powiązane ścieżki prowadząceGeneracja rozszerzona pamięci podręcznej
Pytanie 1 z 8

What does CAG use instead of per-query retrieval?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. What does CAG use instead of per-query retrieval?
    • A keyword search engine
    • Fine-tuning the model on the documents
    • A new vector index per question
    • Preloading the whole knowledge base into the KV cache once and reusing it
  2. What is the KV cache in a transformer?
    • A database of user accounts
    • The stored attention keys and values computed for tokens the model has already read
    • A list of document URLs
    • The model's trained weights
  3. Why does a CAG system truncate the cache after each answer?
    • To save the answer for training
    • To delete the documents permanently
    • To restore the documents-only state so the next query does not see the previous question and answer
    • To switch to a different model
  4. What is CAG's main limitation?
    • The entire corpus must fit in the model's context window
    • It requires a vector database
    • It cannot answer questions quickly
    • Zmienia wagę modelu
  5. Why does CAG answer faster than pasting the documents into every request?
    • It skips generating output tokens
    • The model only needs to compute the new question tokens on top of the cached prefix
    • Używa mniejszego modelu
    • It retrieves fewer documents
  6. Which knowledge base is the best fit for CAG?
    • A news archive updated every hour
    • Millions of customer records with per-user permissions
    • An entire web crawl
    • A small, stable product manual that rarely changes
  7. Which statement about CAG is a misconception?
    • CAG removes retrieval errors because all documents are present
    • Changing documents requires rebuilding the cache
    • CAG fine-tunes the model's weights on the documents
    • Hosted prompt caching is related to the idea
  8. Which techniques reduce the memory needed for a large KV cache?
    • Grouped-query attention and cache quantization
    • Dodanie większej liczby głów uwagi
    • Using longer prompts
    • Raising the sampling temperature