Викторина, связанная с руководством · Средний Уровень

Викторина по KV-кэшу

Просмотрите повторное использование KV-кэша во время авторегрессионного декодирования, нехватку памяти, совместное использование нескольких запросов и компромиссы постраничного распределения.

Связанные направляющие путиКВ-кэш
Вопрос 1 из 8

Что хранит кэш KV?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что хранит кэш KV?
    • Векторы ключа и значения, рассчитанные для предыдущих токенов
    • Полные весовые матрицы модели
    • История чата пользователя в виде обычного текста
    • Окончательные вероятности выхода
  2. Какую проблему в первую очередь решает KV-кэш?
    • Улучшает грамматику сгенерированного текста.
    • Это позволяет избежать повторного вычисления ключей и значений для всех предыдущих токенов на каждом этапе.
    • Увеличивает словарный запас модели.
    • Он шифрует разговор
  3. Каков основной недостаток кэша KV?
    • Это замедляет генерацию
    • Это снижает качество вывода
    • Использование памяти растет линейно с длиной контекста.
    • Работает только на процессорах
  4. Какой метод уменьшает размер кэша KV за счет совместного использования ключей и значений по всем головкам внимания?
    • Отсев
    • Поиск луча
    • Токенизация
    • Внимание по групповым или множественным запросам
  5. Каковы две фазы вывода трансформатора относительно кэша KV?
    • Предварительное заполнение (обработка запроса) и декодирование (генерация одного токена за раз)
    • Обучение и тестирование
    • Кодировать и сжимать
    • Загрузить и скачать
  6. Что делает PagedAttention vLLM для кэша KV?
    • Удаляет кеш после каждого токена
    • Распределяет кеш несмежными блоками для уменьшения фрагментации памяти.
    • Преобразует кэш в текст
    • Удваивает количество параметров модели.
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use