Тест, свързан с ръководство · трудно Ниво

Експертен паралелизъм за тест за обслужване на MoE

Тествайте разположението на експертите на MoE, изпращането на токени и дисбаланса на натоварването, включително как избраните експерти и комуникацията влияят върху разпределеното заключение.

Свързани ръководни пътекиЕкспертен паралелизъм за обслужване на Moe
Въпрос 1 на 8

Какво разпределя експертният паралелизъм между GPU?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво разпределя експертният паралелизъм между GPU?
    • Копия на пълния модел за резервиране
    • Само индивидуално внимание
    • Различни препращащи експерти от ниво на Министерството на околната среда
    • Слоеве на таблицата за вграждане
  2. Кой комуникационен модел е централен за експертния паралелизъм на МО?
    • Два обмена от всички към всички (изпращане и комбиниране)
    • Едно излъчване
    • Синхронизиране на градиент от точка до точка
    • Не е необходима комуникация
  3. Защо MoE поддържа ниски изчисления за токен въпреки огромните общи параметри?
    • Той компресира теглата до 1 бит
    • Пропуска слоевете на вниманието
    • Експертите споделят всичките си тежести
    • Само най-добрите k избрани експерти работят на токен
  4. Какъв проблем възниква, защото маршрутизирането зависи от данни?
    • Градиентна експлозия
    • Дисбаланс на натоварването, при който някои експерти получават много повече токени
    • Рутерът не може да бъде обучен
    • Токените губят своите вградени позиции
  5. Why are capacity limits and padding used in some MoE implementations?
    • To control expert buffer sizes and make computation shapes more predictable
    • To require every expert to process every token
    • To eliminate all token routing
    • To guarantee that every MoE system drops tokens
  6. Как системите скриват закъснението на стъпките от всички към всички?
    • Като вместо това работи на CPU
    • Като премахнете стъпалото на комбайна
    • Чрез увеличаване на скоростта на обучение
    • Чрез припокриване на комуникация с експертни изчисления
  7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
    • Run every expert in the model regardless of routing
    • Dispatch its representation to the selected experts and combine their outputs
    • Replace both expert networks with an attention head
    • Drop the token solely because it selected two devices
  8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
    • The total expert parameter count automatically doubles
    • The router’s outputs become attention positions
    • The overloaded expert becomes a straggler while other devices wait
    • All other experts are removed from memory