Тест за изчезващи и експлодиращи градиенти

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Коя математическа операция в обратното разпространение е основната причина за изчезването и експлодирането на градиенти?
   • Многократно умножаване на коефициенти на слой чрез верижното правило
   • Добавяне на градиенти в един слой
   • Разделяне на загубата на размера на партидата
   • Вземане на корен квадратен от теглата
2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
   • Their derivatives are always larger than one
   • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
   • They remove the chain rule from backpropagation
   • They force every weight to zero
3. Коя архитектура е НАЙ-силно засегната от проблеми с градиента при дълги последователности?
   • Двуслоен перцептрон
   • Единична линейна регресия
   • Повтаряща се невронна мрежа, развита през много времеви стъпки
   • Таблица за търсене
4. Виждането на загубата на обучение внезапно се превръща в NaN най-вероятно показва кой проблем?
   • Изчезващи градиенти
   • Перфектна конвергенция
   • Твърде малка скорост на обучение
   • Експлодиращи градиенти
5. Как остатъчните (пропускащи) връзки помагат при изчезващи градиенти?
   • Те дават на градиента директен пряк път назад, заобикаляйки свиващите се умножения
   • Те премахват всички нелинейности
   • Те увеличават скоростта на обучение автоматично
   • Те изтриват ранните слоеве
6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
   • The matrix trace relative to the batch size
   • The spectral radius relative to one
   • The number of hidden units alone
   • The determinant relative to the learning rate
7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
   • It must become exactly one
   • It grows exponentially regardless of the factor
   • The signal can shrink exponentially with depth
   • It stops depending on earlier layers after one step
8. Why can a recurrent network be especially vulnerable over a long sequence?
   • The network has no hidden state
   • The output layer is used only once
   • The sequence is processed without a chain rule
   • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect