Вікторина, пов’язана з посібником · Середній Рівень

Вікторина з оптимізації кешу KV

Перевіряє зростання KV-кешу, розподіл сторінок, спільне використання згрупованих запитів, умови повторного використання префіксів, квантування та масштабування пам’яті з контекстом і паралелізмом.

Пов'язані напрямні шляхиОптимізація кешу Kv
Питання 1 з 8

Що зберігає кеш KV і чому?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що зберігає кеш KV і чому?
    • Раніше обчислені ключі уваги та значення, щоб вони не обчислювалися повторно на кожному кроці
    • Навчальні дані моделі для перенавчання
    • Паролі користувачів для аутентифікації
    • Виведення лише остаточного тексту
  2. Чому кеш KV може стати проблемою пам'яті?
    • Це назавжди пошкоджує GPU
    • Він зростає разом із довжиною послідовності, розміром партії та шарами, іноді перевищуючи вагу моделі
    • Він працює лише з текстом, коротшим за 10 слів
    • Він дублює операційну систему
  3. Яку концепцію операційної системи запозичив PagedAttention?
    • Утиліти дефрагментації диска
    • Антивірусне сканування
    • Підкачка віртуальної пам'яті з блоками фіксованого розміру
    • Масштабування роздільної здатності екрана
  4. Як груповий запит і багатозапитова увага зменшують розмір кешу KV?
    • Видаленням механізму уваги
    • Зберігаючи кеш у вигляді зображень
    • Навчаючись на меншій кількості даних
    • Дозволяючи багатьом заголовкам запиту використовувати менше заголовків ключ/значення
  5. Яка одна з переваг спільного використання префіксів у кеші KV?
    • Запити з тим самим початковим запитом можуть повторно використовувати ті самі кешовані блоки
    • Він шифрує модель
    • Це однаково сповільнює кожен запит
    • Це знімає потребу в увазі
  6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
    • It doubles the raw bytes
    • It roughly halves the raw bytes, before metadata and other runtime memory
    • It removes the key and value tensors entirely
    • It guarantees twice the inference speed
  7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
    • It stays constant because model weights are fixed
    • It roughly doubles
    • Raw KV storage grows to roughly four times its previous size
    • It becomes one quarter as large
  8. What must generally match for two requests to reuse the same cached prefix blocks?
    • Only the user account name
    • The requests must have different model weights
    • The prompts must have the same character count but different tokens
    • Their tokenized prefix and relevant model/cache configuration must be compatible