Quiz collegato alla guida · Medio Livello
Quiz sui gradienti che svaniscono ed esplodono
Controlla i prodotti del gradiente della regola della catena, la saturazione, la lunghezza della sequenza ricorrente, i percorsi residui e i limiti dell'euristica del raggio spettrale.
Domanda 1 di 8
Quale operazione matematica nella propagazione all'indietro è la causa principale dei gradienti che svaniscono ed esplodono?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale operazione matematica nella propagazione all'indietro è la causa principale dei gradienti che svaniscono ed esplodono?
- Moltiplicazione ripetuta dei fattori per strato tramite la regola della catena
- Aggiunta di sfumature su un singolo livello
- Dividendo la perdita per la dimensione del lotto
- Prendendo la radice quadrata dei pesi
- Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
- Their derivatives are always larger than one
- Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
- They remove the chain rule from backpropagation
- They force every weight to zero
- Quale architettura è MAGGIORMENTE colpita dai problemi di gradiente nelle sequenze lunghe?
- Un percettrone a due strati
- Una singola regressione lineare
- Una rete neurale ricorrente si è srotolata in molti passaggi temporali
- Una tabella di ricerca
- Vedere la perdita di allenamento trasformarsi improvvisamente in NaN indica molto probabilmente quale problema?
- Gradienti evanescenti
- Convergenza perfetta
- Tasso di apprendimento troppo basso
- Gradienti esplosivi
- In che modo le connessioni residue (salta) aiutano con i gradienti evanescenti?
- Danno al gradiente una scorciatoia diretta all'indietro, aggirando le moltiplicazioni che si restringono
- Rimuovono tutte le non linearità
- Aumentano automaticamente il tasso di apprendimento
- Eliminano i primi strati
- In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
- The matrix trace relative to the batch size
- The spectral radius relative to one
- The number of hidden units alone
- The determinant relative to the learning rate
- A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
- It must become exactly one
- It grows exponentially regardless of the factor
- The signal can shrink exponentially with depth
- It stops depending on earlier layers after one step
- Why can a recurrent network be especially vulnerable over a long sequence?
- The network has no hidden state
- The output layer is used only once
- The sequence is processed without a chain rule
- The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect