Quiz collegato alla guida · Medio Livello
Quiz sul ritaglio sfumato
Controlla il ritaglio di norma e valore, la conservazione della direzione, il controllo del gradiente di esplosione e il ritaglio, ad esempio, nell'allenamento differenzialmente privato.
Domanda 1 di 8
Cosa preserva principalmente il ritaglio del gradiente clip-by-norm limitando l'aggiornamento?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa preserva principalmente il ritaglio del gradiente clip-by-norm limitando l'aggiornamento?
- La direzione dell'aggiornamento generale del gradiente
- L'esatta grandezza di ogni gradiente
- Il numero di parametri del modello
- Il programma del tasso di apprendimento
- Nel clip-by-norm con soglia c, cosa succede quando la norma del gradiente g_norm supera c?
- I gradienti sono impostati su zero
- Ogni gradiente viene moltiplicato per c/g_norm
- La formazione si ferma
- Il tasso di apprendimento è raddoppiato
- Quale problema è specificamente progettato per combattere il ritaglio del gradiente?
- Gradienti evanescenti
- Caricamento dati lento
- Gradienti esplosivi
- Overfitting al set di validazione
- In cosa differisce il clip per valore dal clip per norma?
- Conserva sempre la direzione dell'aggiornamento
- Funziona solo su livelli convoluzionali
- Rimuove completamente i gradienti
- Blocca ciascun componente del gradiente in modo indipendente in un intervallo, che può cambiare la direzione
- Un minibatch produce una norma di gradiente globale insolitamente grande. Cosa fa Clip-by-Norm prima dell'aggiornamento dell'ottimizzatore?
- Ridimensiona l'intero vettore del gradiente fino alla soglia configurata quando la norma la supera
- Cambia le etichette del modello
- Rilascia ogni componente del gradiente in modo indipendente
- Aumenta il tasso di apprendimento finché la perdita non viene recuperata
- Nella formazione differenzialmente privata (DP-SGD), che ruolo gioca il ritaglio del gradiente per esempio?
- Crittografa i dati
- Limita l'influenza di ciascun esempio in modo che il rumore calibrato possa garantire la privacy
- Aumenta la dimensione del lotto
- Elimina la necessità di una funzione di perdita
- La norma del gradiente globale è due volte la soglia di ritaglio c. Di quale fattore viene scalato il gradiente?
- Due
- Un quarto
- Una metà (c diviso per 2c)
- Viene lasciato invariato
- Perché DP-SGD ritaglia il gradiente di ogni esempio prima di aggiungere rumore calibrato?
- Per fare in modo che tutti gli esempi abbiano la stessa etichetta
- Per eliminare la necessità di un budget per la privacy
- Per aumentare la norma dei gradienti di classe rara
- Per limitare l’influenza di un singolo esempio sull’aggiornamento rilasciato