SwiGLU та вікторина Gated Activations

Відповіді та пояснення з’являються під час виконання тесту.

1. Яка основна операція визначає стробований лінійний блок?
   • Поелементне множення однієї проекції на активовану другу проекцію
   • Складання двох лінійних проекцій
   • Конкатенація голови уваги
   • Розподіл активацій за їх нормою
2. Яку функцію активації використовує SwiGLU для своєї гілки воріт?
   • ReLU
   • Свист (SiLU)
   • Танх
   • Softmax
3. Скільки вагових матриць використовує блок прямої подачі SwiGLU?
   • Один
   • Два
   • три
   • чотири
4. Чому прихований вимір зазвичай масштабується приблизно до двох третин у шарах SwiGLU?
   • Для підвищення точності чисел
   • Щоб зробити модель глибшою
   • Щоб усунути необхідність нормалізації
   • Щоб загальні параметри та FLOP були порівнянними зі стандартним MLP, незважаючи на додаткову матрицю
5. Відмінною властивістю Swish порівняно з ReLU є те, що він:
   • Плавний і немонотонний, допускає невеликі негативи
   • Строго зростаючий і обмежений 1
   • Ідентична сигмоподібній функції
   • Визначено лише для позитивних вхідних даних
6. Хто популяризував SwiGLU для шарів прямого зв’язку трансформатора у 2020 році?
   • Джеффрі Хінтон
   • Ноам Шазір
   • Ян ЛеКун
   • Андрій Карпатий
7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
   • The entire Transformer layer is skipped
   • The output projection is replaced by a sigmoid
   • The matching value-branch dimension contributes little to the output
   • The value branch is permanently frozen
8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
   • The SiLU gate removes the output projection
   • SwiGLU computes a full Hessian
   • The value branch has no learned weights
   • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs