Gids-gekoppelde quiz · Moeilijk Niveau
SwiGLU en gated activeringsquiz
Test de gated projectie, SiLU-poort, afwegingen tussen parameterkosten en waarom verborgen breedte verandert wanneer een SwiGLU een standaard MLP vervangt.
Vraag 1 van 8
Welke kernoperatie definieert een Gated Linear Unit?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke kernoperatie definieert een Gated Linear Unit?
- Elementgewijze vermenigvuldiging van één projectie met een geactiveerde tweede projectie
- Twee lineaire projecties bij elkaar optellen
- Aaneengeschakelde aandachtshoofden
- Activeringen verdelen op basis van hun norm
- Welke activeringsfunctie gebruikt SwiGLU voor zijn poorttak?
- ReLU
- Swish (SiLU)
- Tanh
- Zachtmax
- Hoeveel gewichtsmatrices gebruikt een SwiGLU feed-forward blok?
- Eén
- Twee
- Drie
- Vier
- Waarom wordt de verborgen dimensie doorgaans geschaald naar ongeveer tweederde in SwiGLU-lagen?
- Om de numerieke precisie te verbeteren
- Om het model dieper te maken
- Om de noodzaak van normalisatie weg te nemen
- Om de totale parameters en FLOP's ondanks de extra matrix vergelijkbaar te houden met een standaard MLP
- Een onderscheidende eigenschap van Swish vergeleken met ReLU is dat het:
- Soepel en niet-monotoon, waardoor kleine negatieven mogelijk zijn
- Strikt stijgend en beperkt tot 1
- Identiek aan de sigmoïdefunctie
- Alleen gedefinieerd voor positieve inputs
- Wie heeft SwiGLU in 2020 gepopulariseerd voor transformator-feedforward-lagen?
- Geoffrey Hinton
- Noam Shazeer
- Yann LeCun
- Andrej Karpathy
- In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
- The entire Transformer layer is skipped
- The output projection is replaced by a sigmoid
- The matching value-branch dimension contributes little to the output
- The value branch is permanently frozen
- Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
- The SiLU gate removes the output projection
- SwiGLU computes a full Hessian
- The value branch has no learned weights
- SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs