Викторина, связанная с руководством · Средний Уровень

LLM-викторина по маршрутизации и балансировке нагрузки

Проверяет маршрутизацию реплик и моделей, сходство кэша, оперативную телеметрию, переменную стоимость токена и результативность с учетом задержки для вывода LLM.

Вопрос 1 из 8

Почему простой циклический алгоритм часто является плохой стратегией балансировки нагрузки для вывода LLM?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Почему простой циклический алгоритм часто является плохой стратегией балансировки нагрузки для вывода LLM?
    • Запросы сильно различаются по стоимости, а реплики содержат липкие кеши KV.
    • Это незаконно в большинстве стран
    • Циклический алгоритм работает только для баз данных.
    • Для запуска требуется графический процессор
  2. Чего пытается достичь маршрутизация «сходства префикса-кэша»?
    • Отправка каждого запроса на случайный графический процессор
    • Маршрутизация запроса к реплике, которая уже кэшировала свой префикс приглашения
    • Шифрование запроса перед отправкой
    • Сжатие веса модели
  3. Что обычно происходит с простым запросом при маршрутизации модели на основе сложности?
    • Это отклонено
    • Он отправляется на самую большую доступную модель.
    • Его отправляют на небольшую, более дешевую модель.
    • Он стоит в очереди 24 часа
  4. Какой живой сигнал наиболее полезен для балансировщика нагрузки с поддержкой LLM?
    • Длина имени хоста сервера
    • Цвет стойки
    • Только часовой пояс пользователя
    • Глубина очереди и заполненность KV-кеша каждой реплики
  5. Что дает такой инструмент, как LiteLLM, при настройке нескольких поставщиков?
    • Единый прокси-сервер, который балансирует и обеспечивает аварийное переключение между многими поставщиками моделей.
    • Новая архитектура трансформатора
    • Система охлаждения графического процессора
    • Замена токенайзеру
  6. Почему один длинный запрос на балансировку может перевесить множество коротких?
    • Длинные выходные данные не используют ресурсы
    • Каждый выходной токен требует полного прохода вперед, поэтому общая загрузка токена имеет большее значение, чем количество запросов.
    • Короткие запросы всегда медленнее
    • Маршрутизатор вообще не видит длину вывода
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • Общее количество параметров модели
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing