Test de inițializare a greutății

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. De ce inițializarea tuturor greutăților la zero este o greșeală fatală?
   • Toți neuronii primesc gradienți identici și nu se diferențiază niciodată (simetria nu este întreruptă)
   • Face antrenamentul prea rapid
   • Face ca pierderea să devină negativă
   • Folosește prea multă memorie
2. Inițializarea He (Kaiming) este special concepută pentru ce funcție de activare?
   • Sigmoid
   • ReLU
   • Tanh
   • Softmax
3. Care este scopul principal al schemelor de inițializare a greutății bazate pe principii?
   • Pentru a face toate greutățile egale
   • Pentru a seta fiecare greutate la una
   • Pentru a menține variația activărilor și a gradienților aproximativ constantă între straturi
   • Pentru a elimina nevoia de date
4. Inițializarea Xavier (Glorot) este cea mai potrivită pentru rețele care utilizează ce activări?
   • ReLU și variantele sale
   • Numai activări liniare
   • Nicio activare
   • Tanh și sigmoid
5. De ce inițializarea He folosește o varianță de 2 / fan_in în loc de 1 / fan_in?
   • Pentru a compensa ReLU setarea aproximativ jumătate din intrările sale la zero
   • Pentru a face greutăți mai mari fără motiv
   • Pentru a reduce numărul de parametri
   • Pentru a se potrivi cu dimensiunea lotului
6. Cum sunt de obicei inițializate părtinirile atunci când ponderile sunt inițializate aleatoriu?
   • La valori pozitive foarte mari
   • La zero, deoarece simetria este deja ruptă de greutăți aleatorii
   • La aceeași valoare ca rata de învățare
   • La valori aleatorii mai mari decât greutățile
7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
   • The number of training epochs and batch size
   • The output class count alone
   • Fan-in and fan-out
   • The activation’s test accuracy
8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
   • 1/64
   • 1/16
   • 2/64 squared
   • 1/32