Kvíz spojený s průvodcem · Těžko úroveň

SwiGLU a Gated Activations Quiz

Testuje hradlovou projekci, hradlo SiLU, kompromisy mezi parametry a cenou a proč se mění skrytá šířka, když SwiGLU nahrazuje standardní MLP.

Související vodicí cestySwiglu A Gated Aktivace
Otázka 1 z 8

Jaká základní operace definuje hradlovou lineární jednotku?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká základní operace definuje hradlovou lineární jednotku?
    • Elementární násobení jedné projekce aktivovanou druhou projekcí
    • Sečtení dvou lineárních projekcí dohromady
    • Řetězení hlavy pozornosti
    • Rozdělení aktivací podle jejich normy
  2. Jakou aktivační funkci používá SwiGLU pro svou branovou větev?
    • ReLU
    • Swish (SiLU)
    • Tanh
    • Softmax
  3. Kolik hmotnostních matic používá dopředný blok SwiGLU?
    • Jeden
    • Dvě
    • tři
    • Čtyři
  4. Proč je skrytá dimenze ve vrstvách SwiGLU obvykle zmenšena na přibližně dvě třetiny?
    • Pro zlepšení numerické přesnosti
    • Aby byl model hlubší
    • Aby se odstranila potřeba normalizace
    • Udržet celkové parametry a FLOP srovnatelné se standardní MLP i přes extra matici
  5. Charakteristickou vlastností Swish ve srovnání s ReLU je, že je:
    • Hladký a nemonotónní, umožňující malé negativy
    • Přísně rostoucí a omezený na 1
    • Totožné s funkcí sigmoid
    • Definováno pouze pro kladné vstupy
  6. Kdo popularizoval SwiGLU pro dopředné vrstvy transformátoru v roce 2020?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andrej Karpathy
  7. Co se stane v produktu SwiGLU Swish(xW) vynásobeném xV, když je hodnota jednoho hradla blízká nule?
    • Celá vrstva Transformer je přeskočena
    • Výstupní projekce je nahrazena sigmoidem
    • Odpovídající dimenze hodnota-větve přispívá k výstupu jen málo
    • Větev hodnoty je trvale zmrazena
  8. Proč může zachování nezměněné skryté šířky standardního MLP zvýšit náklady na SwiGLU?
    • Hradlo SiLU odstraní výstupní projekci
    • SwiGLU počítá plnou Hessian
    • Hodnotová větev nemá žádné naučené váhy
    • SwiGLU používá extra projekční matici, takže design se srovnatelnou šířkou by měl více parametrů a FLOP