Gids-gekoppelde quiz · Moeilijk Niveau

SwiGLU en gated activeringsquiz

Test de gated projectie, SiLU-poort, afwegingen tussen parameterkosten en waarom verborgen breedte verandert wanneer een SwiGLU een standaard MLP vervangt.

Gerelateerde gidspadenSwiglu en gated activeringen
Vraag 1 van 8

Welke kernoperatie definieert een Gated Linear Unit?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke kernoperatie definieert een Gated Linear Unit?
    • Elementgewijze vermenigvuldiging van één projectie met een geactiveerde tweede projectie
    • Twee lineaire projecties bij elkaar optellen
    • Aaneengeschakelde aandachtshoofden
    • Activeringen verdelen op basis van hun norm
  2. Welke activeringsfunctie gebruikt SwiGLU voor zijn poorttak?
    • ReLU
    • Swish (SiLU)
    • Tanh
    • Zachtmax
  3. Hoeveel gewichtsmatrices gebruikt een SwiGLU feed-forward blok?
    • Eén
    • Twee
    • Drie
    • Vier
  4. Waarom wordt de verborgen dimensie doorgaans geschaald naar ongeveer tweederde in SwiGLU-lagen?
    • Om de numerieke precisie te verbeteren
    • Om het model dieper te maken
    • Om de noodzaak van normalisatie weg te nemen
    • Om de totale parameters en FLOP's ondanks de extra matrix vergelijkbaar te houden met een standaard MLP
  5. Een onderscheidende eigenschap van Swish vergeleken met ReLU is dat het:
    • Soepel en niet-monotoon, waardoor kleine negatieven mogelijk zijn
    • Strikt stijgend en beperkt tot 1
    • Identiek aan de sigmoïdefunctie
    • Alleen gedefinieerd voor positieve inputs
  6. Wie heeft SwiGLU in 2020 gepopulariseerd voor transformator-feedforward-lagen?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andrej Karpathy
  7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
    • The entire Transformer layer is skipped
    • The output projection is replaced by a sigmoid
    • The matching value-branch dimension contributes little to the output
    • The value branch is permanently frozen
  8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
    • The SiLU gate removes the output projection
    • SwiGLU computes a full Hessian
    • The value branch has no learned weights
    • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs