Суміш вікторини експертів

Відповіді та пояснення з’являються під час виконання тесту.

1. На шарі суміші експертів, що вирішує, які експерти обробляють певний маркер?
   • Невеликий навчений маршрутизатор (шлюзова мережа), який оцінює експертів
   • Виправлена таблиця пошуку, встановлена перед навчанням
   • Довжина запиту користувача
   • Випадковий розіграш на кожному кроці
2. Чому модель MoE може мати набагато більше загальних параметрів, ніж щільна модель без відповідного збільшення вартості токена?
   • Він стискає параметри в одну спільну вагу
   • Він повністю пропускає шари уваги
   • Для кожного токена активується лише кілька експертів (top-k).
   • Він перевіряє кожного експерта, але усереднює результати
3. Яку проблему вирішує балансування навантаження (допоміжні) втрати під час навчання MoE?
   • Токени задовгі для контекстного вікна
   • Маршрутизатор зловживає кількома фахівцями та голодує решту
   • Градієнти зникають у головах уваги
   • Переобладнання до набору перевірки
4. Mixtral 8x7B активує 2 із 8 своїх експертів за жетон. Що це означає щодо його обчислювальної потужності та його розміру?
   • Він використовує обчислення всіх 8 експертів для кожного токена
   • Він має менше загальних параметрів, ніж щільна модель 7B
   • Він взагалі не може працювати на GPU
   • Його активне обчислення на токен набагато менше, ніж передбачає загальна кількість параметрів
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0,5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters