Викторина по инициализации веса

Ответы и пояснения появляются по мере прохождения теста.

1. Почему инициализация всех весов нулевым значением является фатальной ошибкой?
   • Все нейроны получают одинаковые градиенты и никогда не дифференцируются (симметрия не нарушается).
   • Это делает обучение слишком быстрым
   • Это приводит к тому, что потери становятся отрицательными
   • Он использует слишком много памяти
2. Инициализация Хе (Кайминга) специально предназначена для какой функции активации?
   • сигмовидная
   • РеЛУ
   • Тань
   • Софтмакс
3. Какова основная цель принципиальных схем инициализации весов?
   • Чтобы все веса были равными
   • Чтобы установить каждый вес на единицу
   • Чтобы сохранить дисперсию активаций и градиентов примерно постоянной на разных слоях.
   • Чтобы исключить необходимость в данных
4. Инициализация Xavier (Glorot) лучше всего подходит для сетей, использующих какие активации?
   • ReLU и его варианты
   • Только линейные активации
   • Никакой активации вообще
   • Тан и сигмовидная
5. Почему при инициализации He используется дисперсия 2/fan_in, а не 1/fan_in?
   • Чтобы компенсировать установку ReLU примерно половины своих входов на ноль.
   • Увеличивать веса без причины
   • Чтобы уменьшить количество параметров
   • Чтобы соответствовать размеру партии
6. Как обычно инициализируются смещения, когда веса инициализируются случайным образом?
   • До очень больших положительных значений
   • К нулю, поскольку симметрия уже нарушена случайными весами
   • К тому же значению, что и скорость обучения
   • Для случайных значений, больших, чем веса
7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
   • The number of training epochs and batch size
   • The output class count alone
   • Fan-in and fan-out
   • The activation’s test accuracy
8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
   • 1/64
   • 1/16
   • 2/64 squared
   • 1/32