Quiz collegato alla guida · Medio Livello

Quiz sui gradienti che svaniscono ed esplodono

Controlla i prodotti del gradiente della regola della catena, la saturazione, la lunghezza della sequenza ricorrente, i percorsi residui e i limiti dell'euristica del raggio spettrale.

Domanda 1 di 8

Quale operazione matematica nella propagazione all'indietro è la causa principale dei gradienti che svaniscono ed esplodono?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale operazione matematica nella propagazione all'indietro è la causa principale dei gradienti che svaniscono ed esplodono?
    • Moltiplicazione ripetuta dei fattori per strato tramite la regola della catena
    • Aggiunta di sfumature su un singolo livello
    • Dividendo la perdita per la dimensione del lotto
    • Prendendo la radice quadrata dei pesi
  2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
    • Their derivatives are always larger than one
    • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
    • They remove the chain rule from backpropagation
    • They force every weight to zero
  3. Quale architettura è MAGGIORMENTE colpita dai problemi di gradiente nelle sequenze lunghe?
    • Un percettrone a due strati
    • Una singola regressione lineare
    • Una rete neurale ricorrente si è srotolata in molti passaggi temporali
    • Una tabella di ricerca
  4. Vedere la perdita di allenamento trasformarsi improvvisamente in NaN indica molto probabilmente quale problema?
    • Gradienti evanescenti
    • Convergenza perfetta
    • Tasso di apprendimento troppo basso
    • Gradienti esplosivi
  5. In che modo le connessioni residue (salta) aiutano con i gradienti evanescenti?
    • Danno al gradiente una scorciatoia diretta all'indietro, aggirando le moltiplicazioni che si restringono
    • Rimuovono tutte le non linearità
    • Aumentano automaticamente il tasso di apprendimento
    • Eliminano i primi strati
  6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
    • The matrix trace relative to the batch size
    • The spectral radius relative to one
    • The number of hidden units alone
    • The determinant relative to the learning rate
  7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
    • It must become exactly one
    • It grows exponentially regardless of the factor
    • The signal can shrink exponentially with depth
    • It stops depending on earlier layers after one step
  8. Why can a recurrent network be especially vulnerable over a long sequence?
    • The network has no hidden state
    • The output layer is used only once
    • The sequence is processed without a chain rule
    • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect