ДалееСледующее руководство
Дифференциальная конфиденциальность
Технический
Техническое РУКОВОДСТВО
PagedAttention и vLLM
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
Глубокое погружение
Когда языковая модель генерирует текст, она сохраняет «кэш KV» (векторы ключей и значений) для каждого увиденного токена, чтобы следующий токен мог обрабатывать полный контекст. Традиционно для каждого запроса резервировался один большой непрерывный участок памяти графического процессора с максимально возможной длиной, тратя огромные объемы, когда последовательности были короче или различались по длине. PagedAttention, представленный в документе vLLM Калифорнийского университета в Беркли в 2023 году, заимствует идею подкачки виртуальной памяти из операционных систем: он разбивает кэш KV на блоки фиксированного размера, которые могут находиться в любом месте памяти и выделяться по требованию. Таблица поиска сопоставляет позиции логических токенов с физическими блоками. Это практически исключает фрагментацию памяти и позволяет использовать блоки совместно, например, для нескольких выходов из одного и того же приглашения.
Реальная реализация
Размещение API-интерфейса LLM с открытым исходным кодом, где vLLM обслуживает множество одновременных пользователей чата с одного графического процессора с высокой пропускной способностью.
Распределение длинного системного приглашения на тысячи запросов посредством кэширования префиксов, чтобы оно обрабатывалось один раз, а не повторно.
Поиск по бегущей балке или несколько выборочных заканчиваний, которые используют общие блоки KV для общего запроса посредством копирования при записи.
Сокращение потерь памяти графического процессора из-за фрагментации, чтобы провайдер мог разместить больше одновременных сеансов на одном и том же оборудовании.
Будущее PagedAttention и vLLM
vLLM стала основой вывода с открытым исходным кодом по умолчанию, и идеи PagedAttention теперь используются в большинстве стеков обслуживания. Ожидайте более глубокого кэширования префиксов (повторное использование кэшированных системных подсказок между пользователями), дезагрегированного предварительного заполнения и декодирования на отдельных машинах, более разумных политик вытеснения и тесной интеграции с квантованием и спекулятивным декодированием. Поскольку контекстные окна разрастаются до миллионов токенов, эффективное управление страничными ключами связи становится еще более важным для обеспечения доступности обслуживания.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the PagedAttention and vLLM quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is PagedAttention and vLLM?
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
Что хранит «кэш KV» во время генерации текста?
Кэш KV хранит векторы ключей и значений для каждого предыдущего токена, позволяя модели обрабатывать весь контекст без его повторного вычисления на каждом этапе.
Какая концепция операционной системы вдохновила PagedAttention?
PagedAttention заимствует подкачку виртуальной памяти: кэш KV разделен на страницы фиксированного размера, которые могут находиться где угодно и отображаются с помощью таблицы блоков.
Какую проблему с традиционным распределением кэша KV решает PagedAttention?
Резервирование одного большого непрерывного блока для каждого запроса, рассчитанного на максимальную длину, привело к потере огромного количества памяти графического процессора. Пейджинг выделяет небольшие блоки по требованию, сокращая отходы.
Как PagedAttention позволяет нескольким выводам совместно использовать память для общего приглашения?
Идентичные префиксы (общие подсказки или ветки поиска луча) ссылаются на одни и те же физические страницы KV, копируя только тогда, когда ветка расходится.
Где изначально были разработаны vLLM и PagedAttention?
vLLM и алгоритм PagedAttention были опубликованы в статье Калифорнийского университета в Беркли в 2023 году и быстро стали широко используемым механизмом обслуживания с открытым исходным кодом.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме