Викторина «Смесь экспертов»

Ответы и пояснения появляются по мере прохождения теста.

1. Что определяет, какие эксперты обрабатывают тот или иной токен на уровне «Смешанные эксперты»?
   • Небольшой обученный маршрутизатор (шлюзовая сеть), который оценивается экспертами
   • Фиксированная таблица поиска, установленная перед тренировкой.
   • Длина приглашения пользователя
   • Случайный розыгрыш на каждом этапе
2. Почему модель MoE может иметь гораздо больше общих параметров, чем плотная модель, без соответствующего увеличения стоимости токена?
   • Он сжимает параметры в единый общий вес.
   • Он полностью пропускает уровни внимания
   • Для каждого токена активируется всего несколько экспертов (top-k)
   • Он запускает каждого эксперта, но усредняет результаты
3. Какую проблему решает потеря балансировки нагрузки (вспомогательной) во время обучения MoE?
   • Токены слишком длинные для контекстного окна
   • Маршрутизатор перезагружает нескольких экспертов и морит голодом остальных
   • Градиенты исчезают в головах внимания
   • Переоснащение набора проверки
4. Mixtral 8x7B активирует 2 из 8 своих экспертов за один токен. Что это означает в отношении его вычислительной мощности по сравнению с его размером?
   • Он использует вычисления всех 8 экспертов для каждого токена.
   • Он имеет меньше общих параметров, чем плотная модель 7B.
   • Он вообще не может работать на графическом процессоре
   • Его активные вычисления на токен намного меньше, чем предполагает общее количество параметров.
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0,5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters