Тест, свързан с ръководство · Среден Ниво

Тест за клетки с дълга краткосрочна памет

Тествайте ролите на LSTM gate, запазването на състоянието на клетката, контрола на входа и изхода, допълнителните актуализации, градиентния поток и ограниченията на последователността.

Свързани ръководни пътекиКлетки с дълга и краткосрочна памет
Въпрос 1 на 8

In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
    • Четене, писане и изпълнение на врати
    • Стартиране, спиране и пауза на порти
    • Забравете, входни и изходни порти
    • Кодирайте, декодирайте и посещавайте вратите
  2. What training difficulty was LSTM designed to mitigate?
    • Твърде много параметри за съхраняване
    • Vanishing gradients during learning over long sequences
    • Невъзможност за използване на GPU
    • Липса на функция за активиране
  3. Кой въведе LSTM и през коя година?
    • Vaswani и колеги през 2017 г
    • Румелхарт и Хинтън през 1986 г
    • LeCun и Bengio през 2012 г
    • Hochreiter и Schmidhuber през 1997 г
  4. In a common LSTM cell update, why can the additive cell-state path help gradient flow?
    • It reduces reliance on repeated multiplicative transformations across time steps
    • Той умножава състоянието по голямо число на всяка стъпка
    • Изтрива състоянието на всяка стъпка
    • Замразява всички тежести по време на тренировка
  5. Каква функция за активиране обикновено използват портите LSTM, за да действат като меки превключватели за включване/изключване?
    • ReLU, извеждащ от 0 до безкрайност
    • Софтмакс над речника
    • Стъпкова функция, извеждаща точно 0 или 1
    • Сигмоид, извеждащ 0 до 1
  6. Защо Transformers до голяма степен замениха LSTM за широкомащабно езиково моделиране?
    • Трансформаторите изобщо не могат да се справят с текст
    • LSTM не изискват обучение
    • Трансформаторите се паралелизират в последователност и улавят дългосрочен контекст чрез внимание
    • Трансформаторите използват общо много по-малко числа
  7. If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
    • It largely retains the previous state
    • It is forced to zero
    • It becomes the raw input token
    • It must reverse the sequence
  8. Which gate controls how much of an LSTM cell’s stored state is exposed as output?
    • The forget gate alone
    • The output gate
    • The optimizer momentum term
    • The positional encoding gate