Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Hosszú távú rövid távú memóriasejtek kvíz
Test LSTM gate roles, cell-state retention, input and output control, additive updates, gradient flow, and sequence limits.
kérdés 1 -ból 8
In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
- Olvass, írj és hajts végre kapukat
- Kapuk indítása, leállítása és szüneteltetése
- Felejtsd el a bemeneti és kimeneti kapukat
- Kódolja, dekódolja és figyelje a kapukat
- What training difficulty was LSTM designed to mitigate?
- Túl sok paraméter tárolható
- Vanishing gradients during learning over long sequences
- Képtelenség GPU-t használni
- Aktiválási funkció hiánya
- Ki vezette be az LSTM-et, és melyik évben?
- Vaswani és munkatársai 2017-ben
- Rumelhart és Hinton 1986-ban
- LeCun és Bengio 2012-ben
- Hochreiter és Schmidhuber 1997-ben
- In a common LSTM cell update, why can the additive cell-state path help gradient flow?
- It reduces reliance on repeated multiplicative transformations across time steps
- Minden lépésben megszorozza az állapotot nagy számmal
- Minden lépésben törli az állapotot
- Edzés közben minden súlyt lefagyaszt
- Milyen aktiválási funkciót használnak az LSTM kapuk általában lágy be-/kikapcsolóként?
- ReLU, 0-t ad ki a végtelenbe
- Softmax a szókincs felett
- Lépésfüggvény, amely pontosan 0-t vagy 1-et ad ki
- Szigmoid, 0-tól 1-ig ad ki
- Miért váltották fel a Transformers az LSTM-eket a nagyszabású nyelvi modellezésben?
- A transzformátorok egyáltalán nem tudnak szöveget kezelni
- Az LSTM-ek nem igényelnek képzést
- A transzformátorok párhuzamosítanak egy sorozatot, és a figyelem segítségével rögzítik a hosszú távú kontextust
- A transzformátorok összességében sokkal kevesebb számot használnak
- If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
- It largely retains the previous state
- It is forced to zero
- It becomes the raw input token
- It must reverse the sequence
- Which gate controls how much of an LSTM cell’s stored state is exposed as output?
- The forget gate alone
- The output gate
- The optimizer momentum term
- The positional encoding gate