Quiz collegato alla guida · Medio Livello

Quiz sull'inizializzazione del peso

Controlla la rottura della simmetria, il ridimensionamento del fan-in e del fan-out, l'inizializzazione di Xavier e He, la compensazione ReLU e i bias zero. nei modelli profondi.

Percorsi guida correlatiInizializzazione del peso
Domanda 1 di 8

Perché inizializzare tutti i pesi a zero è un errore fatale?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Perché inizializzare tutti i pesi a zero è un errore fatale?
    • Tutti i neuroni ricevono gradienti identici e non si differenziano mai (la simmetria non viene interrotta)
    • Rende l'allenamento troppo veloce
    • Fa sì che la perdita diventi negativa
    • Utilizza troppa memoria
  2. L'inizializzazione He (Kaiming) è progettata specificamente per quale funzione di attivazione?
    • Sigmoideo
    • ReLU
    • Va bene
    • Softmax
  3. Qual è l'obiettivo principale degli schemi di inizializzazione del peso basati su principi?
    • Per rendere tutti i pesi uguali
    • Per impostare ogni peso su uno
    • Per mantenere la varianza delle attivazioni e dei gradienti approssimativamente costanti tra i livelli
    • Per eliminare la necessità di dati
  4. L'inizializzazione Xavier (Glorot) è più adatta per le reti che utilizzano quali attivazioni?
    • ReLU e le sue varianti
    • Solo attivazioni lineari
    • Nessuna attivazione
    • Tanh e sigmoide
  5. Perché l'inizializzazione He utilizza una varianza di 2/fan_in anziché 1/fan_in?
    • Per compensare il fatto che ReLU abbia impostato a zero circa la metà dei suoi input
    • Aumentare i pesi senza motivo
    • Per ridurre il numero di parametri
    • Per abbinare la dimensione del lotto
  6. Come vengono generalmente inizializzati i bias quando i pesi vengono inizializzati in modo casuale?
    • A valori positivi molto grandi
    • A zero, poiché la simmetria è già rotta dai pesi casuali
    • Allo stesso valore del tasso di apprendimento
    • A valori casuali maggiori dei pesi
  7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
    • The number of training epochs and batch size
    • The output class count alone
    • Fan-in and fan-out
    • The activation’s test accuracy
  8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
    • 1/64
    • 1/16
    • 2/64 squared
    • 1/32