Вікторина KV Cache

Відповіді та пояснення з’являються під час виконання тесту.

1. Що зберігає кеш KV?
   • Вектори ключа та значення, обчислені для попередніх токенів
   • Повновагові матриці моделі
   • Історія чату користувача у вигляді звичайного тексту
   • Імовірності кінцевого виходу
2. Яку проблему в основному вирішує кеш KV?
   • Це покращує граматику створеного тексту
   • Це дозволяє уникнути повторного обчислення ключів і значень для всіх попередніх маркерів на кожному кроці
   • Це збільшує словниковий запас моделі
   • Він шифрує розмову
3. Який головний недолік кеша KV?
   • Це сповільнює генерацію
   • Це знижує якість виходу
   • Його використання пам'яті зростає лінійно з довжиною контексту
   • Він працює лише на процесорах
4. Яка техніка зменшує розмір кешу KV шляхом спільного використання ключів і значень між заголовками уваги?
   • Вибуття
   • Променевий пошук
   • Токенізація
   • Увага згрупованих запитів або кількох запитів
5. Які дві фази виведення трансформатора щодо кеша KV?
   • Попереднє заповнення (обробка підказки) і декодування (генерування одного маркера за раз)
   • Навчання та тестування
   • Кодувати та стискати
   • Завантажити та завантажити
6. Що робить PagedAttention vLLM для кешу KV?
   • Видаляє кеш після кожного маркера
   • Розподіляє кеш у несуміжних блоках, щоб зменшити фрагментацію пам’яті
   • Перетворює кеш на текст
   • Подвоює кількість параметрів моделі
7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
   • The cache stores all training examples on the GPU
   • Each request creates a new model copy
   • Each active sequence retains key and value tensors that grow with its generated context
   • The cache stores only final text on disk
8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
   • It makes unrelated prefixes identical
   • It removes the need to compute attention
   • It guarantees lower latency in every workload
   • It can avoid storing duplicate prefix state and reduce memory use