Kvíz spojený s průvodcem · Těžko úroveň
SwiGLU a Gated Activations Quiz
Testuje hradlovou projekci, hradlo SiLU, kompromisy mezi parametry a cenou a proč se mění skrytá šířka, když SwiGLU nahrazuje standardní MLP.
Otázka 1 z 8
Jaká základní operace definuje hradlovou lineární jednotku?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká základní operace definuje hradlovou lineární jednotku?
- Elementární násobení jedné projekce aktivovanou druhou projekcí
- Sečtení dvou lineárních projekcí dohromady
- Řetězení hlavy pozornosti
- Rozdělení aktivací podle jejich normy
- Jakou aktivační funkci používá SwiGLU pro svou branovou větev?
- ReLU
- Swish (SiLU)
- Tanh
- Softmax
- Kolik hmotnostních matic používá dopředný blok SwiGLU?
- Jeden
- Dvě
- tři
- Čtyři
- Proč je skrytá dimenze ve vrstvách SwiGLU obvykle zmenšena na přibližně dvě třetiny?
- Pro zlepšení numerické přesnosti
- Aby byl model hlubší
- Aby se odstranila potřeba normalizace
- Udržet celkové parametry a FLOP srovnatelné se standardní MLP i přes extra matici
- Charakteristickou vlastností Swish ve srovnání s ReLU je, že je:
- Hladký a nemonotónní, umožňující malé negativy
- Přísně rostoucí a omezený na 1
- Totožné s funkcí sigmoid
- Definováno pouze pro kladné vstupy
- Kdo popularizoval SwiGLU pro dopředné vrstvy transformátoru v roce 2020?
- Geoffrey Hinton
- Noam Shazeer
- Yann LeCun
- Andrej Karpathy
- Co se stane v produktu SwiGLU Swish(xW) vynásobeném xV, když je hodnota jednoho hradla blízká nule?
- Celá vrstva Transformer je přeskočena
- Výstupní projekce je nahrazena sigmoidem
- Odpovídající dimenze hodnota-větve přispívá k výstupu jen málo
- Větev hodnoty je trvale zmrazena
- Proč může zachování nezměněné skryté šířky standardního MLP zvýšit náklady na SwiGLU?
- Hradlo SiLU odstraní výstupní projekci
- SwiGLU počítá plnou Hessian
- Hodnotová větev nemá žádné naučené váhy
- SwiGLU používá extra projekční matici, takže design se srovnatelnou šířkou by měl více parametrů a FLOP