Тест ініціалізації ваги

Відповіді та пояснення з’являються під час виконання тесту.

1. Чому ініціалізація всіх ваг до нуля є фатальною помилкою?
   • Усі нейрони отримують ідентичні градієнти і ніколи не диференціюються (симетрія не порушується)
   • Це робить навчання занадто швидким
   • Це призводить до того, що втрати стають негативними
   • Він використовує занадто багато пам'яті
2. Ініціалізація He (Kaiming) спеціально розроблена для якої функції активації?
   • Сигмовидна
   • ReLU
   • Танх
   • Softmax
3. Яка головна мета принципових схем ініціалізації ваги?
   • Щоб усі ваги були рівними
   • Щоб встановити кожну вагу на одиницю
   • Щоб дисперсія активацій і градієнтів була приблизно постійною між шарами
   • Щоб усунути потребу в даних
4. Ініціалізація Xavier (Glorot) найкраще підходить для мереж, які використовують активації?
   • ReLU та його варіанти
   • Тільки лінійні активації
   • Взагалі без активації
   • Тань і сигмовид
5. Чому ініціалізація He використовує дисперсію 2 / fan_in, а не 1 / fan_in?
   • Щоб компенсувати ReLU, приблизно половина його входів встановлюється на нуль
   • Збільшувати ваги без причини
   • Щоб зменшити кількість параметрів
   • Щоб відповідати розміру партії
6. Як зазвичай ініціалізуються зміщення, коли ваги ініціалізуються випадковим чином?
   • До дуже великих позитивних значень
   • До нуля, оскільки симетрія вже порушена випадковими вагами
   • До того самого значення, що й швидкість навчання
   • До випадкових значень, більших за ваги
7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
   • The number of training epochs and batch size
   • The output class count alone
   • Fan-in and fan-out
   • The activation’s test accuracy
8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
   • 1/64
   • 1/16
   • 2/64 squared
   • 1/32