Тест по оптимизации KV-кеша

Ответы и пояснения появляются по мере прохождения теста.

1. Что хранит кэш KV и почему?
   • Ранее вычисленные ключи и значения внимания, чтобы они не пересчитывались на каждом шаге.
   • Данные обучения модели для переобучения
   • Пароли пользователей для аутентификации
   • Только окончательный текстовый вывод
2. Почему кэш KV может стать проблемой памяти?
   • Это навсегда повреждает графический процессор
   • Он растет с увеличением длины последовательности, размера пакета и слоев, иногда превышая вес модели.
   • Работает только с текстом короче 10 слов.
   • Дублирует операционную систему
3. Какую концепцию операционной системы заимствует PagedAttention?
   • Утилиты для дефрагментации диска
   • Антивирусное сканирование
   • Подкачка виртуальной памяти с блоками фиксированного размера
   • Масштабирование разрешения экрана
4. Как групповые запросы и внимание к нескольким запросам уменьшают размер кэша KV?
   • Удалив механизм внимания
   • Сохраняя кеш в виде изображений
   • Тренируясь на меньшем количестве данных
   • Позволяя многим головкам запросов использовать меньшее количество головок ключей/значений.
5. В чем преимущество совместного использования префиксов в кеше KV?
   • Запросы с одинаковым начальным приглашением могут повторно использовать одни и те же кэшированные блоки.
   • Он шифрует модель
   • Он одинаково замедляет каждый запрос
   • Устраняет потребность во внимании
6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
   • It doubles the raw bytes
   • It roughly halves the raw bytes, before metadata and other runtime memory
   • It removes the key and value tensors entirely
   • It guarantees twice the inference speed
7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
   • It stays constant because model weights are fixed
   • It roughly doubles
   • Raw KV storage grows to roughly four times its previous size
   • It becomes one quarter as large
8. What must generally match for two requests to reuse the same cached prefix blocks?
   • Only the user account name
   • The requests must have different model weights
   • The prompts must have the same character count but different tokens
   • Their tokenized prefix and relevant model/cache configuration must be compatible