SwiGLU și chestionar pentru activări cu porți

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Ce operațiune de bază definește o unitate liniară Gated?
   • Înmulțirea în funcție de elemente a unei proiecții cu o a doua proiecție activată
   • Adunarea a două proiecții liniare împreună
   • Concatenarea capetelor de atenție
   • Împărțirea activărilor după norma lor
2. Ce funcție de activare folosește SwiGLU pentru ramura de poartă?
   • ReLU
   • Swish (SiLU)
   • Tanh
   • Softmax
3. Câte matrice de greutate folosește un bloc feed-forward SwiGLU?
   • Unul
   • Doi
   • Trei
   • Patru
4. De ce dimensiunea ascunsă este de obicei scalată la aproximativ două treimi în straturile SwiGLU?
   • Pentru a îmbunătăți precizia numerică
   • Pentru a face modelul mai profund
   • Pentru a elimina nevoia de normalizare
   • Pentru a menține parametrii totali și FLOP-urile comparabile cu un MLP standard, în ciuda matricei suplimentare
5. O proprietate distinctivă a lui Swish în comparație cu ReLU este că este:
   • Netede și nemonotone, permițând mici negative
   • Creștere strict și plafonat la 1
   • Identică cu funcția sigmoidă
   • Definit doar pentru intrări pozitive
6. Cine a popularizat SwiGLU pentru straturi de feed-forward pentru transformatoare în 2020?
   • Geoffrey Hinton
   • Noam Shazeer
   • Yann LeCun
   • Andrej Karpathy
7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
   • The entire Transformer layer is skipped
   • The output projection is replaced by a sigmoid
   • The matching value-branch dimension contributes little to the output
   • The value branch is permanently frozen
8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
   • The SiLU gate removes the output projection
   • SwiGLU computes a full Hessian
   • The value branch has no learned weights
   • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs