Тест, свързан с ръководство · Среден Ниво

KV Кеш тест

Прегледайте повторното използване на KV-кеша по време на авторегресивно декодиране, натиск на паметта, споделяне на множество заявки и компромиси при разпределение на страниците.

Свързани ръководни пътекиKv Кеш
Въпрос 1 на 8

Какво съхранява KV кеша?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво съхранява KV кеша?
    • Ключовите и стойностните вектори, изчислени за предишни токени
    • Пълните матрици на модела
    • Историята на чатовете на потребителя като обикновен текст
    • Крайните изходни вероятности
  2. Какъв проблем основно решава KV кеша?
    • Подобрява граматиката на генерирания текст
    • Той избягва повторното изчисляване на ключове и стойности за всички предишни токени на всяка стъпка
    • Увеличава речниковия запас на модела
    • Той криптира разговора
  3. Какъв е основният недостатък на KV кеша?
    • Това прави генерирането по-бавно
    • Това намалява качеството на изхода
    • Използването на паметта нараства линейно с дължината на контекста
    • Работи само на процесори
  4. Коя техника намалява размера на KV кеша чрез споделяне на ключове и стойности между главите на вниманието?
    • Отпадане
    • Търсене по лъч
    • Токенизация
    • Групирана заявка или внимание с множество заявки
  5. Какви са двете фази на извода на трансформатора по отношение на KV кеша?
    • Предварително попълване (обработка на подканата) и декодиране (генериране на токен по един)
    • Обучение и тестване
    • Кодирайте и компресирайте
    • Качване и сваляне
  6. Какво прави PagedAttention на vLLM за KV кеша?
    • Изтрива кеша след всеки токен
    • Разпределя кеша в несъседни блокове, за да намали фрагментацията на паметта
    • Преобразува кеша в текст
    • Удвоява броя на параметрите на модела
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use