Тест за SwiGLU и Gated Activations

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Каква основна операция определя затворената линейна единица?
   • Поелементно умножение на една проекция с активирана втора проекция
   • Добавяне на две линейни проекции заедно
   • Конкатениране на главите на вниманието
   • Разделяне на активациите по тяхната норма
2. Коя функция за активиране използва SwiGLU за своя клон на вратата?
   • ReLU
   • Swish (SiLU)
   • Танх
   • Софтмакс
3. Колко тегловни матрици използва SwiGLU блок за подаване напред?
   • един
   • две
   • три
   • Четири
4. Защо скритото измерение обикновено се мащабира до около две трети в слоевете SwiGLU?
   • За подобряване на числената точност
   • За да направите модела по-дълбок
   • За да премахнете необходимостта от нормализиране
   • За поддържане на общите параметри и FLOPs сравними със стандартен MLP въпреки допълнителната матрица
5. Отличително свойство на Swish в сравнение с ReLU е, че е:
   • Плавен и немонотонен, позволяващ малки негативи
   • Строго нарастващ и ограничен до 1
   • Идентична на сигмоидната функция
   • Дефиниран само за положителни входове
6. Кой популяризира SwiGLU за слоеве за предаване на трансформатора през 2020 г.?
   • Джефри Хинтън
   • Ноам Шазир
   • Ян Лекун
   • Андрей Карпати
7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
   • The entire Transformer layer is skipped
   • The output projection is replaced by a sigmoid
   • The matching value-branch dimension contributes little to the output
   • The value branch is permanently frozen
8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
   • The SiLU gate removes the output projection
   • SwiGLU computes a full Hessian
   • The value branch has no learned weights
   • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs