Вікторина, пов’язана з посібником · Середній Рівень

Тест по довготривалій короткочасній пам'яті

Перевірте ролі воріт LSTM, збереження стану комірки, керування входом і виходом, адитивні оновлення, градієнтний потік і обмеження послідовності.

Пов'язані напрямні шляхиКлітини довгострокової пам'яті
Питання 1 з 8

In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
    • Читання, запис і виконання воріт
    • Запуск, зупинка та пауза воріт
    • Забути, вхідні та вихідні ворота
    • Кодуйте, декодуйте та відвідуйте ворота
  2. What training difficulty was LSTM designed to mitigate?
    • Забагато параметрів для збереження
    • Vanishing gradients during learning over long sequences
    • Неможливість використання GPU
    • Відсутність функції активації
  3. Хто запровадив LSTM і в якому році?
    • Васвані та його колеги у 2017 році
    • Румельхарт і Хінтон у 1986 році
    • ЛеКун і Бенгіо в 2012 році
    • Гохрейтер і Шмідхубер у 1997 році
  4. In a common LSTM cell update, why can the additive cell-state path help gradient flow?
    • It reduces reliance on repeated multiplicative transformations across time steps
    • Він множить стан на велике число на кожному кроці
    • Він видаляє стан кожного кроку
    • Він заморожує всі ваги під час тренувань
  5. Яку функцію активації зазвичай використовують ворота LSTM, щоб діяти як м’які перемикачі ввімкнення/вимкнення?
    • ReLU, виведення від 0 до нескінченності
    • Софтмакс над лексикою
    • Функція кроку, що виводить точно 0 або 1
    • Сигмовид, виведення від 0 до 1
  6. Чому Transformers значною мірою замінили LSTM для широкомасштабного моделювання мови?
    • Трансформери взагалі не можуть працювати з текстом
    • LSTM не потребують навчання
    • Трансформери розпаралелюють послідовність і захоплюють дальній контекст за допомогою уваги
    • Трансформери використовують набагато менше номерів
  7. If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
    • It largely retains the previous state
    • It is forced to zero
    • It becomes the raw input token
    • It must reverse the sequence
  8. Which gate controls how much of an LSTM cell’s stored state is exposed as output?
    • The forget gate alone
    • The output gate
    • The optimizer momentum term
    • The positional encoding gate