Quiz collegato alla guida · Medio Livello

Quiz sul ritaglio sfumato

Controlla il ritaglio di norma e valore, la conservazione della direzione, il controllo del gradiente di esplosione e il ritaglio, ad esempio, nell'allenamento differenzialmente privato.

Percorsi guida correlatiRitaglio gradiente
Domanda 1 di 8

Cosa preserva principalmente il ritaglio del gradiente clip-by-norm limitando l'aggiornamento?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa preserva principalmente il ritaglio del gradiente clip-by-norm limitando l'aggiornamento?
    • La direzione dell'aggiornamento generale del gradiente
    • L'esatta grandezza di ogni gradiente
    • Il numero di parametri del modello
    • Il programma del tasso di apprendimento
  2. Nel clip-by-norm con soglia c, cosa succede quando la norma del gradiente g_norm supera c?
    • I gradienti sono impostati su zero
    • Ogni gradiente viene moltiplicato per c/g_norm
    • La formazione si ferma
    • Il tasso di apprendimento è raddoppiato
  3. Quale problema è specificamente progettato per combattere il ritaglio del gradiente?
    • Gradienti evanescenti
    • Caricamento dati lento
    • Gradienti esplosivi
    • Overfitting al set di validazione
  4. In cosa differisce il clip per valore dal clip per norma?
    • Conserva sempre la direzione dell'aggiornamento
    • Funziona solo su livelli convoluzionali
    • Rimuove completamente i gradienti
    • Blocca ciascun componente del gradiente in modo indipendente in un intervallo, che può cambiare la direzione
  5. Un minibatch produce una norma di gradiente globale insolitamente grande. Cosa fa Clip-by-Norm prima dell'aggiornamento dell'ottimizzatore?
    • Ridimensiona l'intero vettore del gradiente fino alla soglia configurata quando la norma la supera
    • Cambia le etichette del modello
    • Rilascia ogni componente del gradiente in modo indipendente
    • Aumenta il tasso di apprendimento finché la perdita non viene recuperata
  6. Nella formazione differenzialmente privata (DP-SGD), che ruolo gioca il ritaglio del gradiente per esempio?
    • Crittografa i dati
    • Limita l'influenza di ciascun esempio in modo che il rumore calibrato possa garantire la privacy
    • Aumenta la dimensione del lotto
    • Elimina la necessità di una funzione di perdita
  7. La norma del gradiente globale è due volte la soglia di ritaglio c. Di quale fattore viene scalato il gradiente?
    • Due
    • Un quarto
    • Una metà (c diviso per 2c)
    • Viene lasciato invariato
  8. Perché DP-SGD ritaglia il gradiente di ogni esempio prima di aggiungere rumore calibrato?
    • Per fare in modo che tutti gli esempi abbiano la stessa etichetta
    • Per eliminare la necessità di un budget per la privacy
    • Per aumentare la norma dei gradienti di classe rara
    • Per limitare l’influenza di un singolo esempio sull’aggiornamento rilasciato