ДаліНаступний посібник
Оптимізація кешу KV
технічний
Мова AI GUIDE
Кеш KV
Кеш KV зберігає вектори ключів і значень, які трансформатор уже обчислив для попередніх токенів, тому йому не потрібно повторно обчислювати їх для кожного нового слова, яке він генерує.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
It is the single biggest reason text generation is fast — and the main thing eating your GPU memory during long conversations.
Глибоке занурення
Transformers генерують текст по одному токену за раз, і кожен новий рівень уваги маркера потрібно порівнювати з кожним попереднім токеном. Механізм уваги перетворює кожен маркер на запит, ключ і вектор значення. Без кешування генерація маркера номер 1000 означатиме переобчислення ключів і значень для всіх 999 попередніх маркерів на кожному кроці — квадратична, марна робота. Кеш KV зберігає ці вектори ключів і значень після їх першого обчислення та повторно використовує їх, тому кожен новий крок обчислює вектори лише для єдиного найновішого токена та обробляє збережений кеш. Це зменшує вартість кожного токена від масштабування з довжиною послідовності до приблизно постійної. Компромісом є пам’ять: кеш-пам’ять лінійно зростає з довжиною контексту, кількістю шарів і головками уваги, часто стаючи домінуючим споживачем пам’яті в обслуговуванні довгого контексту.
Реалізація в реальному світі
Прискорення відповідей чат-бота шляхом повторного використання кешованих ключів/значень з історії бесід замість повторної обробки кожного ходу.
Кешування префіксів, яке ділиться кеш-пам’яттю для довгих системних запитів між багатьма користувачами, скорочуючи витрати та затримку.
PagedAttention від vLLM, що керує кеш-пам’яттю KV блоками для ефективного обслуговування багатьох одночасних запитів на одному GPU.
Квантування кешу KV для зниження точності, щоб розмістити довші контексти в обмеженій пам’яті GPU.
Майбутнє KV Cache
Оскільки контекстні вікна розтягуються на сотні тисяч токенів, кеш KV стає центральним вузьким місцем, тому інновації є жорстокими: квантування кешу до 8 або 4 бітів, політики вилучення, які видаляють маловажливі токени, спільний доступ до префіксів перехресних запитів і розвантаження на ЦП або диск. Архітектурні зміни, такі як прихована увага кількох головок, стискають сам кеш. Очікуйте продовження спільного проектування варіантів уваги та систем пам’яті, спрямованих на обслуговування дуже довгих контекстів дешево та з високою пропускною здатністю.
Застосування на практиці
Чому це важливо
- Швидкість і масштаб. Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості.
- Доступ і охоплення. Це розширює доступ до різних мов і стилів спілкування.
- Чіткіші рішення. Команди можуть витрачати більше часу на оцінювання, поки автоматизація справляється з повторенням.
Зверніть увагу на
- Галюциновані факти можуть непомітно входити у звіти, допоміжні потоки або результати досліджень.
- Делікатність підказок може створити суперечливі результати для подібних запитів.
- Конфіденційні текстові дані можуть бути розкриті, якщо контроль доступу слабкий.
Наступні кроки
- Визначте вихідний формат, тон і стандарти якості перед розгортанням.
- Якщо точність має значення, зв’яжіться з надійними джерелами.
- Тримайте контрольну точку перевірки людьми для отримання високих ставок.
- Відстежуйте моделі збоїв і регулярно перенавчайте підказки або робочі процеси.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the KV Cache quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is KV Cache?
Кеш KV зберігає вектори ключів і значень, які трансформатор уже обчислив для попередніх токенів, тому йому не потрібно повторно обчислювати їх для кожного нового слова, яке він генерує. Це головна причина швидкого генерування тексту — і головне, що споживає пам’ять графічного процесора під час довгих розмов.
Що зберігає кеш KV?
Кеш KV зберігає вектори ключів і значень із попередніх токенів, тому увага може використовувати їх повторно замість повторного обчислення.
Яку проблему в основному вирішує кеш KV?
The cache reuses keys and values computed for earlier tokens instead of rebuilding them at every decode step. The new query still attends over cached positions, so attention work and cache memory continue to grow with context length.
Який головний недолік кеша KV?
Кеш зростає із збільшенням довжини послідовності, шарів і заголовків, часто стаючи домінуючим споживачем пам’яті графічного процесора в обслуговуванні тривалого контексту.
Яка техніка зменшує розмір кешу KV шляхом спільного використання ключів і значень між заголовками уваги?
Увага до згрупованих запитів і кількох запитів дозволяє кільком заголовкам запиту використовувати менше наборів ключів/значень, суттєво зменшуючи кеш.
Які дві фази виведення трансформатора щодо кеша KV?
Prefill заповнює кеш K/V підказки; декодування додає один новий K/V маркера на кожному кроці та повторно перевіряє кеш.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми