ДаліНаступний посібник
Диференціальна конфіденційність
технічний
Технічний КЕРІВНИЦТВО
PagedAttention і vLLM
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
Глибоке занурення
Коли мовна модель генерує текст, вона зберігає «кеш KV» (вектори ключів і значень) для кожного маркера, який вона бачила, щоб наступний маркер міг звернути увагу на повний контекст. Традиційно для кожного запиту резервувався один великий безперервний блок пам’яті графічного процесора розміром відповідно до його максимально можливої довжини, втрачаючи величезні обсяги, коли послідовності були коротшими або відрізнялися за довжиною. PagedAttention, представлений у документі vLLM 2023 року від Каліфорнійського університету в Берклі, запозичив ідею сторінок віртуальної пам’яті з операційних систем: він розбиває кеш KV на блоки фіксованого розміру, які можуть знаходитися в будь-якому місці пам’яті та розподілятися за вимогою. Таблиця пошуку відображає позиції логічних токенів на фізичні блоки. Це майже усуває фрагментацію пам’яті та дозволяє спільно використовувати блоки, наприклад, між кількома виходами з одного запиту.
Реалізація в реальному світі
Хостинг LLM API з відкритим вихідним кодом, де vLLM обслуговує багато одночасних користувачів чату з одного графічного процесора з високою пропускною здатністю
Спільне використання довгого системного підказки для тисяч запитів через кешування префіксів, щоб воно оброблялося один раз, а не повторно
Пошук бігового променя або завершення з кількома вибірками, які спільно використовують блоки KV для загального запиту через копіювання під час запису
Скорочення споживання пам’яті GPU через фрагментацію, щоб постачальник міг запакувати більше одночасних сеансів на те саме обладнання
Майбутнє PagedAttention і vLLM
vLLM став основою висновку з відкритим вихідним кодом за замовчуванням, і ідеї PagedAttention тепер відображаються в більшості стеків обслуговування. Очікуйте глибшого кешування префіксів (повторне використання кешованих системних запитів для користувачів), дезагрегованого попереднього заповнення та декодування на окремих машинах, розумніших політик вилучення та тісної інтеграції з квантуванням і спекулятивним декодуванням. Оскільки контекстні вікна розростаються в мільйони токенів, ефективне керування сторінковим KV стає ще більш важливим для збереження доступності обслуговування.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the PagedAttention and vLLM quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is PagedAttention and vLLM?
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
Що зберігає «кеш KV» під час генерації тексту?
Кеш KV зберігає вектори ключів і значень для кожного попереднього токена, дозволяючи моделі звертати увагу на повний контекст, не перераховуючи його на кожному кроці.
Яка концепція операційної системи надихнула PagedAttention?
PagedAttention запозичує сторінку віртуальної пам’яті: кеш KV поділено на сторінки фіксованого розміру, які можуть бути де завгодно, зіставлені за допомогою таблиці блоків.
Яку проблему з традиційним розподілом кешу KV вирішує PagedAttention?
Резервування однієї великої безперервної плити на запит, розмір якої відповідає максимальній довжині, призвело до втрати величезної кількості пам’яті GPU. Пейджінг виділяє невеликі блоки за вимогою, скорочуючи відходи.
Як PagedAttention дозволяє кільком виходам спільно використовувати пам’ять для спільного запиту?
Ідентичні префікси (спільні підказки або гілки пошуку за променем) посилаються на ті самі фізичні сторінки KV, копіюючи лише тоді, коли гілка розходиться.
Де спочатку були розроблені vLLM і PagedAttention?
vLLM і алгоритм PagedAttention вийшли з Каліфорнійського університету в Берклі в статті 2023 року і швидко стали широко використовуваним механізмом обслуговування з відкритим кодом.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми