Дезагрегированный тест по предварительному заполнению и декодированию

Ответы и пояснения появляются по мере прохождения теста.

1. Какова основная аппаратная причина разделения предварительного заполнения и декодирования на разные пулы графических процессоров?
   • Предварительное заполнение привязано к вычислениям, а декодирование — к пропускной способности памяти.
   • Они используют разные языки программирования
   • Декодирование требует больше электроэнергии, чем предварительное заполнение
   • Предварительное заполнение вообще не может работать на графических процессорах
2. Какую структуру данных необходимо передать из воркеров prefill в воркеры декодирования?
   • Вес модели
   • Кэш KV (ключ-значение)
   • Словарь токенизатора
   • Состояние оптимизатора
3. Какую проблему конкретно решает дезагрегация при настройке общего графического процессора?
   • Драйвер графического процессора выходит из строя
   • Потеря сетевых пакетов в Интернете
   • Блокировка начала строки, когда длинное предварительное заполнение останавливает декодирование других
   • Модельная галлюцинация
4. Почему предварительное заполнение может быть агрессивно пакетным, но декодирование получает преимущества от другой настройки?
   • Декодирование никогда не использует графический процессор
   • Предварительное заполнение выполняется только один раз в день
   • Пакетирование невозможно во время предварительного заполнения
   • Токены предварительного заполнения считываются параллельно, что максимально увеличивает использование вычислительных ресурсов за проход.
5. Какие межсоединения обычно используются для перемещения кэша KV между дезагрегированными пулами?
   • NVLink или InfiniBand
   • Коммутируемые модемы
   • Кабели USB 2.0
   • Bluetooth
6. Какие именованные системы связаны с дезагрегированным обслуживанием предварительного заполнения/декодирования?
   • TCP, UDP и HTTP
   • DistServe, Splitwise и Mooncake
   • Word, Excel и PowerPoint
   • JPEG, PNG и GIF
7. Why must the KV cache produced during prefill be available to the decode workers?
   • It contains the model’s optimizer state
   • It stores the user’s GPU allocation
   • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
   • It is needed only to calculate validation accuracy
8. What is a resource-allocation benefit of separating prefill and decode pools?
   • Both phases must use identical batch sizes
   • The model no longer needs a KV cache
   • The scheduler can eliminate all network communication
   • Each phase can be sized and parallelized for its own compute or memory bottleneck