Kvíz spojený s průvodcem · Střední úroveň
Kvíz o buňkách dlouhodobé krátkodobé paměti
Testujte role brány LSTM, zachování stavu buněk, řízení vstupu a výstupu, aditivní aktualizace, tok gradientu a limity sekvence.
Otázka 1 z 8
In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
- Číst, psát a provádět brány
- Spusťte, zastavte a pozastavte brány
- Zapomeňte na vstupní a výstupní brány
- Kódujte, dekódujte a navštěvujte brány
- What training difficulty was LSTM designed to mitigate?
- Příliš mnoho parametrů k uložení
- Vanishing gradients during learning over long sequences
- Nemožnost používat GPU
- Chybí aktivační funkce
- Kdo představil LSTM a ve kterém roce?
- Vaswani a kolegové v roce 2017
- Rumelhart a Hinton v roce 1986
- LeCun a Bengio v roce 2012
- Hochreiter a Schmidhuber v roce 1997
- In a common LSTM cell update, why can the additive cell-state path help gradient flow?
- It reduces reliance on repeated multiplicative transformations across time steps
- Každý krok násobí stav velkým číslem
- Vymaže stav při každém kroku
- Při tréninku zmrazí všechny závaží
- Jakou aktivační funkci obvykle používají brány LSTM, aby fungovaly jako měkké vypínače?
- ReLU, výstup 0 až nekonečno
- Softmax nad slovní zásobou
- Kroková funkce s výstupem přesně 0 nebo 1
- Sigmoid, výstup 0 až 1
- Proč Transformers z velké části nahradily LSTM pro rozsáhlé jazykové modelování?
- Transformers vůbec neumí zpracovat text
- LSTM nevyžadují žádné školení
- Transformátory paralelizují napříč sekvencí a prostřednictvím pozornosti zachycují kontext dlouhého dosahu
- Transformátory celkově používají mnohem méně čísel
- If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
- It largely retains the previous state
- It is forced to zero
- It becomes the raw input token
- It must reverse the sequence
- Which gate controls how much of an LSTM cell’s stored state is exposed as output?
- The forget gate alone
- The output gate
- The optimizer momentum term
- The positional encoding gate