Тест, свързан с ръководство · трудно Ниво

Тест за дезагрегирано предварително попълване и декодиране на сервиране

Проверява тесните места при предварително попълване и декодиране, прехвърляне на KV-кеш, фазова интерференция, настройка на ресурси и системи за дезагрегирано обслужване.

Свързани ръководни пътекиОбслужване на дезагрегирано предварително попълване и декодиране
Въпрос 1 на 8

Каква е основната хардуерна причина за разделянето на предварително попълване и декодиране на различни GPU пулове?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Каква е основната хардуерна причина за разделянето на предварително попълване и декодиране на различни GPU пулове?
    • Prefill е обвързано с изчисление, докато декодирането е обвързано с честотна лента на паметта
    • Използват различни езици за програмиране
    • Декодирането изисква повече електричество от предварителното пълнене
    • Prefill изобщо не може да работи на графични процесори
  2. Каква структура от данни трябва да се прехвърли от работниците за предварително попълване към работниците за декодиране?
    • Моделът тежи
    • KV (ключ-стойност) кеш
    • Речникът на токенизатора
    • Състоянието на оптимизатора
  3. Кой проблем конкретно намалява дезагрегацията при настройка на споделен GPU?
    • Драйверът на GPU се срива
    • Загуба на мрежови пакети в интернет
    • Блокиране на начален ред, където дълго предварително попълване спира декодирането на другите
    • Моделна халюцинация
  4. Защо предварителното попълване може да се пакетира агресивно, но декодирането се възползва от различни настройки?
    • Декодирането никога не използва GPU
    • Предварителното попълване се изпълнява само веднъж на ден
    • Дозирането е невъзможно по време на предварително пълнене
    • Токените за предварително попълване се четат паралелно, като се максимизира използването на изчисленията на преминаване
  5. Кои връзки обикновено се използват за преместване на KV кеша между дезагрегирани пулове?
    • NVLink или InfiniBand
    • Модеми за комутируема връзка
    • USB 2.0 кабели
    • Bluetooth
  6. Кои наименувани системи са свързани с дезагрегирано обслужване на предварително попълване/декодиране?
    • TCP, UDP и HTTP
    • DistServe, Splitwise и Mooncake
    • Word, Excel и PowerPoint
    • JPEG, PNG и GIF
  7. Why must the KV cache produced during prefill be available to the decode workers?
    • It contains the model’s optimizer state
    • It stores the user’s GPU allocation
    • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
    • It is needed only to calculate validation accuracy
  8. What is a resource-allocation benefit of separating prefill and decode pools?
    • Both phases must use identical batch sizes
    • The model no longer needs a KV cache
    • The scheduler can eliminate all network communication
    • Each phase can be sized and parallelized for its own compute or memory bottleneck