Тест за инициализация на теглото

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Защо инициализирането на всички тегла до нула е фатална грешка?
   • Всички неврони получават идентични градиенти и никога не се диференцират (симетрията не е нарушена)
   • Това прави обучението твърде бързо
   • Това кара загубата да стане отрицателна
   • Използва твърде много памет
2. Инициализацията на He (Kaiming) е специално проектирана за коя функция за активиране?
   • Сигмовидна
   • ReLU
   • Танх
   • Софтмакс
3. Каква е основната цел на принципните схеми за инициализация на теглото?
   • За да направите всички тежести равни
   • За да зададете всяко тегло на едно
   • За да запазите вариацията на активациите и градиентите приблизително постоянна между слоевете
   • За да премахнете нуждата от данни
4. Инициализацията на Xavier (Glorot) е най-подходяща за мрежи, използващи кои активации?
   • ReLU и неговите варианти
   • Само линейни активации
   • Никакво активиране
   • Тан и сигма
5. Защо инициализацията на He използва вариация от 2 / fan_in вместо 1 / fan_in?
   • За да компенсира ReLU, настройвайки приблизително половината от своите входове на нула
   • Да правят тежести по-големи без причина
   • За да намалите броя на параметрите
   • За да съответства на размера на партидата
6. Как обикновено се инициализират отклоненията, когато теглата се инициализират на случаен принцип?
   • До много големи положителни стойности
   • До нула, тъй като симетрията вече е нарушена от произволните тегла
   • До същата стойност като скоростта на обучение
   • До произволни стойности, по-големи от теглата
7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
   • The number of training epochs and batch size
   • The output class count alone
   • Fan-in and fan-out
   • The activation’s test accuracy
8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
   • 1/64
   • 1/16
   • 2/64 squared
   • 1/32