Kvíz spojený s průvodcem · Střední úroveň

Kvíz o buňkách dlouhodobé krátkodobé paměti

Testujte role brány LSTM, zachování stavu buněk, řízení vstupu a výstupu, aditivní aktualizace, tok gradientu a limity sekvence.

Související vodicí cestyBuňky dlouhodobé krátkodobé paměti
Otázka 1 z 8

In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
    • Číst, psát a provádět brány
    • Spusťte, zastavte a pozastavte brány
    • Zapomeňte na vstupní a výstupní brány
    • Kódujte, dekódujte a navštěvujte brány
  2. What training difficulty was LSTM designed to mitigate?
    • Příliš mnoho parametrů k uložení
    • Vanishing gradients during learning over long sequences
    • Nemožnost používat GPU
    • Chybí aktivační funkce
  3. Kdo představil LSTM a ve kterém roce?
    • Vaswani a kolegové v roce 2017
    • Rumelhart a Hinton v roce 1986
    • LeCun a Bengio v roce 2012
    • Hochreiter a Schmidhuber v roce 1997
  4. In a common LSTM cell update, why can the additive cell-state path help gradient flow?
    • It reduces reliance on repeated multiplicative transformations across time steps
    • Každý krok násobí stav velkým číslem
    • Vymaže stav při každém kroku
    • Při tréninku zmrazí všechny závaží
  5. Jakou aktivační funkci obvykle používají brány LSTM, aby fungovaly jako měkké vypínače?
    • ReLU, výstup 0 až nekonečno
    • Softmax nad slovní zásobou
    • Kroková funkce s výstupem přesně 0 nebo 1
    • Sigmoid, výstup 0 až 1
  6. Proč Transformers z velké části nahradily LSTM pro rozsáhlé jazykové modelování?
    • Transformers vůbec neumí zpracovat text
    • LSTM nevyžadují žádné školení
    • Transformátory paralelizují napříč sekvencí a prostřednictvím pozornosti zachycují kontext dlouhého dosahu
    • Transformátory celkově používají mnohem méně čísel
  7. If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
    • It largely retains the previous state
    • It is forced to zero
    • It becomes the raw input token
    • It must reverse the sequence
  8. Which gate controls how much of an LSTM cell’s stored state is exposed as output?
    • The forget gate alone
    • The output gate
    • The optimizer momentum term
    • The positional encoding gate