Quiz collegato alla guida · Medio Livello

Quiz sulla normalizzazione dei livelli

Controlla le statistiche e i parametri affini di LayerNorm, il comportamento in termini di dimensioni del batch, epsilon, RMSNorm e il posizionamento pre-norma. nelle reti profonde.

Percorsi guida correlatiNormalizzazione dei livelli
Domanda 1 di 8

In che cosa la normalizzazione dei livelli calcola la sua media e la sua varianza?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. In che cosa la normalizzazione dei livelli calcola la sua media e la sua varianza?
    • Attraverso le caratteristiche di un singolo esempio
    • In tutti gli esempi del mini-batch
    • In tutti i pesi della rete
    • Attraverso più epoche di formazione
  2. Perché nei trasformatori è preferibile la normalizzazione a strati rispetto alla normalizzazione batch?
    • Richiede lotti di dimensioni molto grandi
    • È indipendente dalla dimensione del batch e gestisce sequenze di lunghezza variabile
    • Elimina la necessità di parametri apprendibili
    • Funziona solo durante l'inferenza
  3. Cosa consentono di fare i parametri apprendibili gamma e beta a LayerNorm?
    • Scegli il tasso di apprendimento
    • Imposta il numero di livelli
    • Ridimensionare e spostare l'output normalizzato in modo che la rete possa recuperare rappresentazioni utili
    • Elimina la necessità di una funzione di attivazione
  4. In cosa differisce RMSNorm da LayerNorm standard?
    • Si normalizza invece in tutto il batch
    • Non utilizza parametri e nessuna divisione
    • Funziona solo sulle immagini
    • Salta la sottrazione media e divide solo per la radice quadrata media
  5. Quale problema aiuta principalmente la normalizzazione dei livelli a risolvere nelle reti profonde?
    • Attivazioni che si spostano su scale molto diverse, il che destabilizza la formazione
    • Spazio su disco esaurito
    • Scegliere il set di dati giusto
    • Crittografia dei pesi del modello
  6. Perché il posizionamento "pre-norma" viene spesso utilizzato nei trasformatori molto profondi?
    • Rende il modello più piccolo
    • La normalizzazione prima di ogni sottolivello rende gli stack profondi più facili e più stabili da addestrare
    • Rimuove il meccanismo dell'attenzione
    • Raddoppia automaticamente il tasso di apprendimento
  7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
    • To make the batch size larger
    • To replace the learnable scale
    • To avoid division by zero and improve numerical stability
    • To compute the sequence length
  8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
    • It restores the original unnormalized inputs exactly
    • It applies a softmax over features
    • It changes the statistics to be batch-dependent
    • It leaves the normalized values unchanged after the mean-and-variance scaling