Викторина «Исчезающие и взрывающиеся градиенты»

Ответы и пояснения появляются по мере прохождения теста.

1. Какая математическая операция обратного распространения ошибки является основной причиной исчезновения и взрыва градиентов?
   • Многократное умножение коэффициентов для каждого слоя с помощью правила цепочки
   • Добавление градиентов в один слой
   • Разделение потерь на размер партии
   • Извлечение квадратного корня из весов
2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
   • Their derivatives are always larger than one
   • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
   • They remove the chain rule from backpropagation
   • They force every weight to zero
3. На какую архитектуру САМОЕ сильно влияют проблемы градиента в длинных последовательностях?
   • Двухслойный перцептрон
   • Одна линейная регрессия
   • Рекуррентная нейронная сеть, развернутая за множество временных шагов
   • Таблица поиска
4. Наблюдение за тем, как потеря обучения внезапно превращается в NaN, скорее всего, указывает на какую проблему?
   • Исчезающие градиенты
   • Идеальная конвергенция
   • Слишком маленькая скорость обучения
   • Взрывные градиенты
5. Как остаточные (пропускаемые) соединения помогают устранить исчезающие градиенты?
   • Они дают градиенту прямой путь назад, минуя сокращающиеся умножения.
   • Они устраняют все нелинейности
   • Они автоматически увеличивают скорость обучения
   • Они удаляют ранние слои
6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
   • The matrix trace relative to the batch size
   • The spectral radius relative to one
   • The number of hidden units alone
   • The determinant relative to the learning rate
7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
   • It must become exactly one
   • It grows exponentially regardless of the factor
   • The signal can shrink exponentially with depth
   • It stops depending on earlier layers after one step
8. Why can a recurrent network be especially vulnerable over a long sequence?
   • The network has no hidden state
   • The output layer is used only once
   • The sequence is processed without a chain rule
   • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect