ДалееСледующее руководство
Ядро Селдона и графы вывода
Технический
Техническое РУКОВОДСТВО
Уровень управления, который решает, какая реплика модели, графический процессор или серверная часть должны обрабатывать каждый входящий запрос LLM и как распределять трафик, чтобы ни один сервер не был перегружен.
Прослушайте это руководствоОзвучено ИИ · ~2 min
Если все сделано правильно, это сокращает задержку и стоимость; сделано плохо, это приводит к тайм-аутам и простою графических процессоров.
Обслуживание LLM в большом масштабе означает запуск множества реплик на многих графических процессорах, а трафик вывода является прерывистым и неравномерным — запросы сильно различаются по длине и сложности. Маршрутизатор находится впереди и выбирает пункт назначения, используя сигналы, гораздо более богатые, чем классический циклический перебор. Современные маршрутизаторы с поддержкой LLM учитывают глубину очереди, занятость KV-кэша и наличие уже у реплики соответствующего префикса запроса (сходство префикса-кэша), поэтому последующий запрос попадает туда, где находится его кеш. Некоторые маршрутизаторы также выбирают, какую модель использовать: отправляя простые запросы к дешевой маленькой модели, а сложные — к большой (маршрутизация по модели). Затем балансировка нагрузки выравнивает нагрузку между репликами, чтобы избежать горячих точек, соблюдать ограничения скорости и поддерживать низкую задержку, одновременно максимизируя общую производительность и использование графического процессора.
Платформа чат-бота прикрепляет каждый разговор к реплике, содержащей его кэш KV, поэтому последующие обращения попадают в кеш префикса и отвечают быстрее.
Системы в стиле RouteLLM отправляют простые вопросы небольшой дешевой модели и переводят только сложные вопросы на передовую модель, сокращая затраты с небольшой потерей качества.
Расширение вывода API Kubernetes Gateway маршрутизируется по глубине очереди графического процессора и состоянию кэша вместо простого циклического перебора между модулями.
LiteLLM проксирует трафик через OpenAI, Anthropic и автономные модели с резервным режимом и балансировкой с учетом ограничения скорости, когда один провайдер регулирует скорость.
Маршрутизация становится первоклассным, изученным компонентом. Такие проекты, как расширение вывода API шлюза Kubernetes, производственный стек vLLM и маршрутизаторы на базе LiteLLM/Envoy, стандартизируют планирование с учетом кэша и затрат. Ожидайте более семантической и основанной на сложности модели маршрутизации (в стиле RouteLLM), приоритетных очередей на основе SLA, осведомленности о нескольких регионах и спотовых экземплярах, а также политик, полученных с подкреплением, которые балансируют задержку, пропускную способность и долларовые затраты в реальном времени по мере изменения моделей, цен и трафика.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Уровень управления, который решает, какая реплика модели, графический процессор или серверная часть должны обрабатывать каждый входящий запрос LLM и как распределять трафик, чтобы ни один сервер не был перегружен. Если все сделано правильно, это сокращает задержку и стоимость; сделано плохо, это приводит к тайм-аутам и простою графических процессоров.
LLM-запросы сильно различаются по длине/стоимости, а KV-кэш реплики делает сеансы липкими, поэтому слепое циклическое выполнение бэкэндов игнорирует сходство кэша и реальную нагрузку.
Если реплика уже содержит кэш KV для общего префикса, маршрутизация последующих действий повторно использует этот кэш вместо его повторного вычисления, экономя вычислительные ресурсы и задержку.
Модельные маршрутизаторы, такие как RouteLLM, отправляют простые запросы к дешевой небольшой модели и резервируют дорогие пограничные модели для сложных, сокращая затраты с минимальной потерей качества.
Реальная серверная телеметрия — ожидающие токены, заполненность пакетов, занятость кэша — гораздо лучше отражает истинную нагрузку, чем простой подсчет запросов.
LiteLLM действует как прокси-сервер маршрутизации между поставщиками (OpenAI, Anthropic, автономный), добавляя резервный вариант и балансировку с учетом ограничения скорости.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Ядро Селдона и графы вывода
Технический