Quiz połączony z przewodnikiem · Średni Poziom

Quiz dotyczący komórek pamięci krótkotrwałej

Testuj role bramek LSTM, zachowanie stanu komórki, kontrolę wejścia i wyjścia, aktualizacje addytywne, przepływ gradientu i limity sekwencji.

Powiązane ścieżki prowadząceKomórki pamięci długotrwałej i krótkotrwałej
Pytanie 1 z 8

In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
    • Czytaj, zapisuj i wykonuj bramy
    • Uruchamianie, zatrzymywanie i wstrzymywanie bram
    • Zapomnij o bramkach wejściowych i wyjściowych
    • Koduj, dekoduj i kontroluj bramy
  2. What training difficulty was LSTM designed to mitigate?
    • Zbyt wiele parametrów do zapisania
    • Vanishing gradients during learning over long sequences
    • Niemożność użycia procesora graficznego
    • Brak funkcji aktywacji
  3. Kto wprowadził LSTM i w którym roku?
    • Vaswani i współpracownicy w 2017 r
    • Rumelharta i Hintona w 1986 r
    • LeCuna i Bengio w 2012 roku
    • Hochreitera i Schmidhubera w 1997 r
  4. In a common LSTM cell update, why can the additive cell-state path help gradient flow?
    • It reduces reliance on repeated multiplicative transformations across time steps
    • W każdym kroku mnoży stan przez dużą liczbę
    • Usuwa stan na każdym kroku
    • Zamraża wszystkie ciężary podczas treningu
  5. Jakiej funkcji aktywacji zwykle używają bramki LSTM, aby działać jako miękkie przełączniki włączania/wyłączania?
    • ReLU, wyprowadzanie od 0 do nieskończoności
    • Softmax ponad słownictwem
    • Funkcja krokowa dająca na wyjściu dokładnie 0 lub 1
    • Sigmoid, wyprowadzanie od 0 do 1
  6. Dlaczego Transformers w dużej mierze zastąpiły LSTM w modelowaniu języków na dużą skalę?
    • Transformatory w ogóle nie obsługują tekstu
    • LSTM nie wymagają szkolenia
    • Transformatory działają równolegle w sekwencji i wychwytują kontekst dalekiego zasięgu poprzez uwagę
    • Transformatory używają w sumie znacznie mniej liczb
  7. If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
    • It largely retains the previous state
    • It is forced to zero
    • It becomes the raw input token
    • It must reverse the sequence
  8. Which gate controls how much of an LSTM cell’s stored state is exposed as output?
    • The forget gate alone
    • The output gate
    • The optimizer momentum term
    • The positional encoding gate