Вікторина, пов’язана з посібником · важко Рівень

Тест із дезагрегованим попереднім заповненням і декодуванням

Перевіряє вузькі місця попереднього заповнення та декодування, передачу KV-кешу, фазові перешкоди, налаштування ресурсів і дезагреговані системи обслуговування.

Пов'язані напрямні шляхиОбслуговування дезагрегованого попереднього заповнення та декодування
Питання 1 з 8

Яка основна апаратна причина для розділення попереднього заповнення та декодування на різні пули GPU?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яка основна апаратна причина для розділення попереднього заповнення та декодування на різні пули GPU?
    • Попереднє заповнення залежить від обчислень, а декодування – від пропускної здатності пам’яті
    • Вони використовують різні мови програмування
    • Для декодування потрібно більше електроенергії, ніж для попереднього заповнення
    • Prefill взагалі не може працювати на графічних процесорах
  2. Яку структуру даних необхідно передати від робітників попереднього заповнення до робітників декодування?
    • Вага моделі
    • Кеш KV (ключ-значення).
    • Словник токенізатора
    • Стан оптимізатора
  3. Яку проблему конкретно зменшує дезагрегація в налаштуванні спільного графічного процесора?
    • Збій драйвера GPU
    • Втрата мережевих пакетів в Інтернеті
    • Блокування початку рядка, коли довге попередньо заповнення зупиняє декодування інших
    • Модельні галюцинації
  4. Чому попереднє заповнення можна агресивно пакетувати, але декодування отримує переваги від різного налаштування?
    • Декодування ніколи не використовує GPU
    • Попереднє заповнення виконується лише раз на день
    • Дозування неможливе під час попереднього заповнення
    • Токени попереднього заповнення зчитуються паралельно, що максимізує використання обчислювальної системи за один прохід
  5. Які з’єднання зазвичай використовуються для переміщення кешу KV між дезагрегованими пулами?
    • NVLink або InfiniBand
    • Комутовані модеми
    • Кабелі USB 2.0
    • Bluetooth
  6. Які названі системи пов’язані з обслуговуванням дезагрегованого попереднього заповнення/декодування?
    • TCP, UDP і HTTP
    • DistServe, Splitwise та Mooncake
    • Word, Excel і PowerPoint
    • JPEG, PNG і GIF
  7. Why must the KV cache produced during prefill be available to the decode workers?
    • It contains the model’s optimizer state
    • It stores the user’s GPU allocation
    • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
    • It is needed only to calculate validation accuracy
  8. What is a resource-allocation benefit of separating prefill and decode pools?
    • Both phases must use identical batch sizes
    • The model no longer needs a KV cache
    • The scheduler can eliminate all network communication
    • Each phase can be sized and parallelized for its own compute or memory bottleneck