Útmutatóhoz kapcsolódó kvíz · Kemény Szint

SwiGLU és kapuzott aktiválási kvíz

Tests the gated projection, SiLU gate, parameter-cost trade-offs and why hidden width changes when a SwiGLU replaces a standard MLP.

Kapcsolódó útmutató utakSwiglu és kapuzott aktiválások
kérdés 1 -ból 8

Milyen alapművelet határozza meg a kapuzott lineáris egységet?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen alapművelet határozza meg a kapuzott lineáris egységet?
    • Egy vetítés elemenkénti szorzása egy aktivált második vetülettel
    • Két lineáris vetület összeadása
    • A figyelemfejek összefűzése
    • Az aktiválások elosztása a normájukkal
  2. Melyik aktiválási funkciót használja a SwiGLU a kapu ágához?
    • ReLU
    • Swish (SiLU)
    • Tanh
    • Softmax
  3. Hány súlymátrixot használ egy SwiGLU előrecsatolt blokk?
    • Egy
    • Kettő
    • Három
    • Négy
  4. Miért van a rejtett dimenzió általában kétharmadára méretezve a SwiGLU rétegekben?
    • A numerikus pontosság javítása érdekében
    • Hogy a modell mélyebb legyen
    • A normalizálás szükségességének megszüntetése
    • Annak érdekében, hogy a teljes paraméterek és FLOP-ok összehasonlíthatóak legyenek egy szabványos MLP-vel az extra mátrix ellenére
  5. A Swish megkülönböztető tulajdonsága a ReLU-hoz képest, hogy:
    • Sima és nem monoton, lehetővé teszi a kis negatívokat
    • Szigorúan növekvő és 1-re korlátozva
    • Azonos a szigmafüggvénnyel
    • Csak pozitív bemenetekhez van megadva
  6. Ki népszerűsítette a SwiGLU-t a transzformátor-előtolási rétegekhez 2020-ban?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andrej Karpathy
  7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
    • The entire Transformer layer is skipped
    • The output projection is replaced by a sigmoid
    • The matching value-branch dimension contributes little to the output
    • The value branch is permanently frozen
  8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
    • The SiLU gate removes the output projection
    • SwiGLU computes a full Hessian
    • The value branch has no learned weights
    • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs