Викторина, связанная с руководством · Средний Уровень

Викторина о клетках долговременной краткосрочной памяти

Тестируйте роли шлюзов LSTM, сохранение состояния ячеек, контроль ввода и вывода, аддитивные обновления, градиентный поток и ограничения последовательности.

Связанные направляющие путиКлетки долговременной памяти
Вопрос 1 из 8

In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
    • Чтение, запись и выполнение шлюзов
    • Запуск, остановка и пауза ворот
    • Забыть, входные и выходные ворота
    • Кодируйте, декодируйте и посещайте ворота
  2. What training difficulty was LSTM designed to mitigate?
    • Слишком много параметров для хранения
    • Vanishing gradients during learning over long sequences
    • Невозможность использовать графический процессор
    • Отсутствие функции активации.
  3. Кто представил LSTM и в каком году?
    • Васвани и коллеги в 2017 году
    • Румельхарт и Хинтон в 1986 году
    • ЛеКун и Бенджио в 2012 году
    • Хохрайтер и Шмидхубер в 1997 году.
  4. In a common LSTM cell update, why can the additive cell-state path help gradient flow?
    • It reduces reliance on repeated multiplicative transformations across time steps
    • Он умножает состояние на большое число на каждом шаге
    • Он удаляет состояние на каждом шагу
    • Он замораживает все веса во время тренировки.
  5. Какую функцию активации обычно используют ворота LSTM в качестве программных переключателей включения/выключения?
    • ReLU, вывод от 0 до бесконечности
    • Softmax над словарным запасом
    • Ступенчатая функция, выводящая ровно 0 или 1.
    • Сигмовидная, вывод от 0 до 1
  6. Почему Трансформеры в значительной степени заменили LSTM для крупномасштабного языкового моделирования?
    • Трансформеры вообще не могут обрабатывать текст
    • LSTM не требуют обучения
    • Трансформаторы распараллеливают последовательность и улавливают долгосрочный контекст посредством внимания.
    • Трансформеры в целом используют гораздо меньше чисел
  7. If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
    • It largely retains the previous state
    • It is forced to zero
    • It becomes the raw input token
    • It must reverse the sequence
  8. Which gate controls how much of an LSTM cell’s stored state is exposed as output?
    • The forget gate alone
    • The output gate
    • The optimizer momentum term
    • The positional encoding gate