Викторина, связанная с руководством · Средний Уровень
LLM-викторина по маршрутизации и балансировке нагрузки
Проверяет маршрутизацию реплик и моделей, сходство кэша, оперативную телеметрию, переменную стоимость токена и результативность с учетом задержки для вывода LLM.
Вопрос 1 из 8
Почему простой циклический алгоритм часто является плохой стратегией балансировки нагрузки для вывода LLM?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Почему простой циклический алгоритм часто является плохой стратегией балансировки нагрузки для вывода LLM?
- Запросы сильно различаются по стоимости, а реплики содержат липкие кеши KV.
- Это незаконно в большинстве стран
- Циклический алгоритм работает только для баз данных.
- Для запуска требуется графический процессор
- Чего пытается достичь маршрутизация «сходства префикса-кэша»?
- Отправка каждого запроса на случайный графический процессор
- Маршрутизация запроса к реплике, которая уже кэшировала свой префикс приглашения
- Шифрование запроса перед отправкой
- Сжатие веса модели
- Что обычно происходит с простым запросом при маршрутизации модели на основе сложности?
- Это отклонено
- Он отправляется на самую большую доступную модель.
- Его отправляют на небольшую, более дешевую модель.
- Он стоит в очереди 24 часа
- Какой живой сигнал наиболее полезен для балансировщика нагрузки с поддержкой LLM?
- Длина имени хоста сервера
- Цвет стойки
- Только часовой пояс пользователя
- Глубина очереди и заполненность KV-кеша каждой реплики
- Что дает такой инструмент, как LiteLLM, при настройке нескольких поставщиков?
- Единый прокси-сервер, который балансирует и обеспечивает аварийное переключение между многими поставщиками моделей.
- Новая архитектура трансформатора
- Система охлаждения графического процессора
- Замена токенайзеру
- Почему один длинный запрос на балансировку может перевесить множество коротких?
- Длинные выходные данные не используют ресурсы
- Каждый выходной токен требует полного прохода вперед, поэтому общая загрузка токена имеет большее значение, чем количество запросов.
- Короткие запросы всегда медленнее
- Маршрутизатор вообще не видит длину вывода
- A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
- Общее количество параметров модели
- Only the number of HTTP connections opened
- Requests served while meeting the specified latency or service-level targets
- The fraction of requests that use the largest model
- A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
- Tokenization followed by decoding
- Training followed by fine-tuning
- Prefill followed by prompt construction
- Model routing followed by replica load balancing