Вікторина, пов’язана з посібником · важко Рівень

Експертний паралелізм для тесту з обслуговування Міністерства освіти

Перевірте розміщення експертів MoE, розсилку маркерів і дисбаланс навантаження, включно з тим, як обрані експерти та зв’язок впливають на розподілений висновок.

Пов'язані напрямні шляхиЕкспертний паралелізм для обслуговування Moe
Питання 1 з 8

Що експертний паралелізм розподіляє між GPU?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що експертний паралелізм розподіляє між GPU?
    • Копії повної моделі для резервування
    • Індивідуальна увага лише для головок
    • Різні передові експерти рівня МО
    • Шари вставної таблиці
  2. Який комунікаційний шаблон є центральним для експертного паралелізму Міністерства освіти?
    • Дві загальні біржі (відправлення та комбінування)
    • Одиночний ефір
    • Синхронізація градієнта «точка-точка».
    • Ніякого спілкування не потрібно
  3. Чому MoE зберігає низький рівень обчислень за токен, незважаючи на величезні загальні параметри?
    • Він стискає ваги до 1 біта
    • Він пропускає шари уваги
    • Експерти діляться всіма своїми вагами
    • Лише k кращих обраних експертів запускають один токен
  4. Яка проблема виникає через те, що маршрутизація залежить від даних?
    • Градієнтний вибух
    • Дисбаланс навантаження, де деякі експерти отримують набагато більше жетонів
    • Маршрутизатор неможливо навчити
    • Токени втрачають вбудовані позиції
  5. Why are capacity limits and padding used in some MoE implementations?
    • To control expert buffer sizes and make computation shapes more predictable
    • To require every expert to process every token
    • To eliminate all token routing
    • To guarantee that every MoE system drops tokens
  6. Як системи приховують затримку всіх кроків?
    • Натомість працюючи на ЦП
    • Знявши щабель комбайна
    • Збільшуючи швидкість навчання
    • Перекриваючи комунікацію з експертними обчисленнями
  7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
    • Run every expert in the model regardless of routing
    • Dispatch its representation to the selected experts and combine their outputs
    • Replace both expert networks with an attention head
    • Drop the token solely because it selected two devices
  8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
    • The total expert parameter count automatically doubles
    • The router’s outputs become attention positions
    • The overloaded expert becomes a straggler while other devices wait
    • All other experts are removed from memory