SwiGLU i quiz dotyczący aktywacji bramkowych

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka podstawowa operacja definiuje bramkowaną jednostkę liniową?
   • Elementarne pomnożenie jednej projekcji przez aktywowaną drugą projekcję
   • Dodanie dwóch rzutów liniowych razem
   • Łączenie głów uwagi
   • Dzielenie aktywacji według ich normy
2. Jakiej funkcji aktywacji używa SwiGLU w swojej gałęzi bramki?
   • ReLU
   • Świst (SiLU)
   • Tanh
   • Softmax
3. Z ilu macierzy wag korzysta blok wyprzedzający SwiGLU?
   • Jeden
   • Dwa
   • Trzy
   • Cztery
4. Dlaczego ukryty wymiar jest zwykle skalowany do około dwóch trzecich w warstwach SwiGLU?
   • Aby poprawić precyzję numeryczną
   • Aby model był głębszy
   • Aby usunąć potrzebę normalizacji
   • Aby zachować parametry całkowite i wartości FLOP porównywalne ze standardowym MLP pomimo dodatkowej matrycy
5. Charakterystyczną cechą Swish w porównaniu do ReLU jest to, że:
   • Gładki i niemonotoniczny, pozwalający na uzyskanie małych negatywów
   • Ściśle rosnące i ograniczone do 1
   • Identyczna z funkcją sigmoidalną
   • Zdefiniowane tylko dla wejść dodatnich
6. Kto spopularyzował SwiGLU dla warstw transformatorowych w 2020 roku?
   • Geoffreya Hintona
   • Noama Shazeera
   • Yanna LeCuna
   • Andrzej Karpaty
7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
   • The entire Transformer layer is skipped
   • The output projection is replaced by a sigmoid
   • The matching value-branch dimension contributes little to the output
   • The value branch is permanently frozen
8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
   • The SiLU gate removes the output projection
   • SwiGLU computes a full Hessian
   • The value branch has no learned weights
   • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs