Смес от тестове за експерти

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какво решава кои експерти да обработват даден токен в слой смесени експерти?
   • Малък научен рутер (шлюзираща мрежа), който оценява експерти
   • Фиксирана справочна таблица, зададена преди обучението
   • Дължината на подканата на потребителя
   • Случайно теглене на всяка стъпка
2. Защо един модел на MoE може да има много повече общи параметри от плътен модел без съответстващо увеличение на цената на токен?
   • Той компресира параметрите в едно споделено тегло
   • Пропуска изцяло слоевете на вниманието
   • Само няколко експерта (top-k) се активират за всеки жетон
   • Провежда всеки експерт, но осреднява резултатите
3. Какъв проблем адресира загубата при балансиране на натоварването (спомагателна) по време на обучението на MoE?
   • Токените са твърде дълги за контекстния прозорец
   • Рутерът използва прекалено много няколко експерти и гладува останалите
   • Градиентите изчезват в главите на вниманието
   • Пренастройване на комплекта за валидиране
4. Mixtral 8x7B активира 2 от своите 8 експерти на токен. Какво означава това за неговите изчисления спрямо неговия размер?
   • Той използва изчисленията на всичките 8 експерти за всеки токен
   • Той има по-малко общи параметри от 7B плътен модел
   • Изобщо не може да работи на GPU
   • Неговото активно изчисление на токен е много по-малко, отколкото предполага общият му брой параметри
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0,5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters