Útmutatóhoz kapcsolódó kvíz · Kemény Szint
SwiGLU és kapuzott aktiválási kvíz
Tests the gated projection, SiLU gate, parameter-cost trade-offs and why hidden width changes when a SwiGLU replaces a standard MLP.
kérdés 1 -ból 8
Milyen alapművelet határozza meg a kapuzott lineáris egységet?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen alapművelet határozza meg a kapuzott lineáris egységet?
- Egy vetítés elemenkénti szorzása egy aktivált második vetülettel
- Két lineáris vetület összeadása
- A figyelemfejek összefűzése
- Az aktiválások elosztása a normájukkal
- Melyik aktiválási funkciót használja a SwiGLU a kapu ágához?
- ReLU
- Swish (SiLU)
- Tanh
- Softmax
- Hány súlymátrixot használ egy SwiGLU előrecsatolt blokk?
- Egy
- Kettő
- Három
- Négy
- Miért van a rejtett dimenzió általában kétharmadára méretezve a SwiGLU rétegekben?
- A numerikus pontosság javítása érdekében
- Hogy a modell mélyebb legyen
- A normalizálás szükségességének megszüntetése
- Annak érdekében, hogy a teljes paraméterek és FLOP-ok összehasonlíthatóak legyenek egy szabványos MLP-vel az extra mátrix ellenére
- A Swish megkülönböztető tulajdonsága a ReLU-hoz képest, hogy:
- Sima és nem monoton, lehetővé teszi a kis negatívokat
- Szigorúan növekvő és 1-re korlátozva
- Azonos a szigmafüggvénnyel
- Csak pozitív bemenetekhez van megadva
- Ki népszerűsítette a SwiGLU-t a transzformátor-előtolási rétegekhez 2020-ban?
- Geoffrey Hinton
- Noam Shazeer
- Yann LeCun
- Andrej Karpathy
- In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
- The entire Transformer layer is skipped
- The output projection is replaced by a sigmoid
- The matching value-branch dimension contributes little to the output
- The value branch is permanently frozen
- Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
- The SiLU gate removes the output projection
- SwiGLU computes a full Hessian
- The value branch has no learned weights
- SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs