Quiz collegato alla guida · Medio Livello
Quiz sull'inizializzazione del peso
Controlla la rottura della simmetria, il ridimensionamento del fan-in e del fan-out, l'inizializzazione di Xavier e He, la compensazione ReLU e i bias zero. nei modelli profondi.
Domanda 1 di 8
Perché inizializzare tutti i pesi a zero è un errore fatale?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Perché inizializzare tutti i pesi a zero è un errore fatale?
- Tutti i neuroni ricevono gradienti identici e non si differenziano mai (la simmetria non viene interrotta)
- Rende l'allenamento troppo veloce
- Fa sì che la perdita diventi negativa
- Utilizza troppa memoria
- L'inizializzazione He (Kaiming) è progettata specificamente per quale funzione di attivazione?
- Sigmoideo
- ReLU
- Va bene
- Softmax
- Qual è l'obiettivo principale degli schemi di inizializzazione del peso basati su principi?
- Per rendere tutti i pesi uguali
- Per impostare ogni peso su uno
- Per mantenere la varianza delle attivazioni e dei gradienti approssimativamente costanti tra i livelli
- Per eliminare la necessità di dati
- L'inizializzazione Xavier (Glorot) è più adatta per le reti che utilizzano quali attivazioni?
- ReLU e le sue varianti
- Solo attivazioni lineari
- Nessuna attivazione
- Tanh e sigmoide
- Perché l'inizializzazione He utilizza una varianza di 2/fan_in anziché 1/fan_in?
- Per compensare il fatto che ReLU abbia impostato a zero circa la metà dei suoi input
- Aumentare i pesi senza motivo
- Per ridurre il numero di parametri
- Per abbinare la dimensione del lotto
- Come vengono generalmente inizializzati i bias quando i pesi vengono inizializzati in modo casuale?
- A valori positivi molto grandi
- A zero, poiché la simmetria è già rotta dai pesi casuali
- Allo stesso valore del tasso di apprendimento
- A valori casuali maggiori dei pesi
- Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
- The number of training epochs and batch size
- The output class count alone
- Fan-in and fan-out
- The activation’s test accuracy
- For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
- 1/64
- 1/16
- 2/64 squared
- 1/32