Викторина SwiGLU и Gated Activations

Ответы и пояснения появляются по мере прохождения теста.

1. Какая основная операция определяет линейный блок с затвором?
   • Поэлементное умножение одной проекции на активированную вторую проекцию
   • Сложение двух линейных проекций вместе
   • Объединение глав внимания
   • Разделение активаций на их норму
2. Какую функцию активации использует SwiGLU для своей ветки ворот?
   • РеЛУ
   • Свиш (SiLU)
   • Тань
   • Софтмакс
3. Сколько весовых матриц использует блок прямой связи SwiGLU?
   • Один
   • Два
   • Три
   • Четыре
4. Почему скрытое измерение в слоях SwiGLU обычно масштабируется примерно до двух третей?
   • Для повышения числовой точности
   • Чтобы сделать модель глубже
   • Устранить необходимость нормализации
   • Чтобы сохранить общие параметры и FLOP на уровне стандартного MLP, несмотря на дополнительную матрицу.
5. Отличительным свойством Swish по сравнению с ReLU является то, что он:
   • Гладкий и немонотонный, допускающий небольшие негативы
   • Строго увеличивается и ограничено 1
   • Идентично сигмовидной функции
   • Определяется только для положительных входов
6. Кто популяризировал SwiGLU для слоев прямой связи трансформатора в 2020 году?
   • Джеффри Хинтон
   • Ноам Шазир
   • Янн ЛеКун
   • Андрей Карпаты
7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
   • The entire Transformer layer is skipped
   • The output projection is replaced by a sigmoid
   • The matching value-branch dimension contributes little to the output
   • The value branch is permanently frozen
8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
   • The SiLU gate removes the output projection
   • SwiGLU computes a full Hessian
   • The value branch has no learned weights
   • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs