Викторина, связанная с руководством · Жесткий Уровень

Экспертный параллелизм для викторины по обслуживанию Министерства образования

Протестируйте размещение экспертов MoE, отправку токенов и дисбаланс нагрузки, включая то, как выбранные эксперты и коммуникация влияют на распределенный вывод.

Связанные направляющие путиЭкспертный параллелизм для обслуживания клиентов
Вопрос 1 из 8

Что экспертный параллелизм распределяет между графическими процессорами?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что экспертный параллелизм распределяет между графическими процессорами?
    • Копии полной модели для резервирования
    • Только индивидуальное внимание
    • Различные эксперты прямой связи уровня MoE
    • Слои таблицы внедрения
  2. Какая модель коммуникации является центральной для экспертного параллелизма МО?
    • Два обмена «все на всех» (отправка и объединение)
    • Одна трансляция
    • Синхронизация градиента «точка-точка»
    • Никакого общения не требуется
  3. Почему MoE поддерживает низкие вычисления на токен, несмотря на огромные общие параметры?
    • Он сжимает веса до 1 бита.
    • Он пропускает уровни внимания
    • Эксперты разделяют все свои мнения
    • Только топ-к выбранных экспертов участвуют в розыгрыше токена
  4. Какая проблема возникает из-за того, что маршрутизация зависит от данных?
    • Градиентный взрыв
    • Дисбаланс нагрузки, когда некоторые эксперты получают гораздо больше токенов
    • Маршрутизатор не подлежит обучению
    • Токены теряют свои вложения позиций
  5. Why are capacity limits and padding used in some MoE implementations?
    • To control expert buffer sizes and make computation shapes more predictable
    • To require every expert to process every token
    • To eliminate all token routing
    • To guarantee that every MoE system drops tokens
  6. Как системы скрывают задержку шагов «все-всем»?
    • Вместо этого работая на процессоре
    • Удаление шага объединения
    • За счет увеличения скорости обучения
    • Перекрывая общение с экспертными вычислениями
  7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
    • Run every expert in the model regardless of routing
    • Dispatch its representation to the selected experts and combine their outputs
    • Replace both expert networks with an attention head
    • Drop the token solely because it selected two devices
  8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
    • The total expert parameter count automatically doubles
    • The router’s outputs become attention positions
    • The overloaded expert becomes a straggler while other devices wait
    • All other experts are removed from memory