Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Hosszú távú rövid távú memóriasejtek kvíz

Test LSTM gate roles, cell-state retention, input and output control, additive updates, gradient flow, and sequence limits.

kérdés 1 -ból 8

In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
    • Olvass, írj és hajts végre kapukat
    • Kapuk indítása, leállítása és szüneteltetése
    • Felejtsd el a bemeneti és kimeneti kapukat
    • Kódolja, dekódolja és figyelje a kapukat
  2. What training difficulty was LSTM designed to mitigate?
    • Túl sok paraméter tárolható
    • Vanishing gradients during learning over long sequences
    • Képtelenség GPU-t használni
    • Aktiválási funkció hiánya
  3. Ki vezette be az LSTM-et, és melyik évben?
    • Vaswani és munkatársai 2017-ben
    • Rumelhart és Hinton 1986-ban
    • LeCun és Bengio 2012-ben
    • Hochreiter és Schmidhuber 1997-ben
  4. In a common LSTM cell update, why can the additive cell-state path help gradient flow?
    • It reduces reliance on repeated multiplicative transformations across time steps
    • Minden lépésben megszorozza az állapotot nagy számmal
    • Minden lépésben törli az állapotot
    • Edzés közben minden súlyt lefagyaszt
  5. Milyen aktiválási funkciót használnak az LSTM kapuk általában lágy be-/kikapcsolóként?
    • ReLU, 0-t ad ki a végtelenbe
    • Softmax a szókincs felett
    • Lépésfüggvény, amely pontosan 0-t vagy 1-et ad ki
    • Szigmoid, 0-tól 1-ig ad ki
  6. Miért váltották fel a Transformers az LSTM-eket a nagyszabású nyelvi modellezésben?
    • A transzformátorok egyáltalán nem tudnak szöveget kezelni
    • Az LSTM-ek nem igényelnek képzést
    • A transzformátorok párhuzamosítanak egy sorozatot, és a figyelem segítségével rögzítik a hosszú távú kontextust
    • A transzformátorok összességében sokkal kevesebb számot használnak
  7. If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
    • It largely retains the previous state
    • It is forced to zero
    • It becomes the raw input token
    • It must reverse the sequence
  8. Which gate controls how much of an LSTM cell’s stored state is exposed as output?
    • The forget gate alone
    • The output gate
    • The optimizer momentum term
    • The positional encoding gate