Quiz collegato alla guida · Medio Livello
Quiz sulla normalizzazione dei livelli
Controlla le statistiche e i parametri affini di LayerNorm, il comportamento in termini di dimensioni del batch, epsilon, RMSNorm e il posizionamento pre-norma. nelle reti profonde.
Domanda 1 di 8
In che cosa la normalizzazione dei livelli calcola la sua media e la sua varianza?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- In che cosa la normalizzazione dei livelli calcola la sua media e la sua varianza?
- Attraverso le caratteristiche di un singolo esempio
- In tutti gli esempi del mini-batch
- In tutti i pesi della rete
- Attraverso più epoche di formazione
- Perché nei trasformatori è preferibile la normalizzazione a strati rispetto alla normalizzazione batch?
- Richiede lotti di dimensioni molto grandi
- È indipendente dalla dimensione del batch e gestisce sequenze di lunghezza variabile
- Elimina la necessità di parametri apprendibili
- Funziona solo durante l'inferenza
- Cosa consentono di fare i parametri apprendibili gamma e beta a LayerNorm?
- Scegli il tasso di apprendimento
- Imposta il numero di livelli
- Ridimensionare e spostare l'output normalizzato in modo che la rete possa recuperare rappresentazioni utili
- Elimina la necessità di una funzione di attivazione
- In cosa differisce RMSNorm da LayerNorm standard?
- Si normalizza invece in tutto il batch
- Non utilizza parametri e nessuna divisione
- Funziona solo sulle immagini
- Salta la sottrazione media e divide solo per la radice quadrata media
- Quale problema aiuta principalmente la normalizzazione dei livelli a risolvere nelle reti profonde?
- Attivazioni che si spostano su scale molto diverse, il che destabilizza la formazione
- Spazio su disco esaurito
- Scegliere il set di dati giusto
- Crittografia dei pesi del modello
- Perché il posizionamento "pre-norma" viene spesso utilizzato nei trasformatori molto profondi?
- Rende il modello più piccolo
- La normalizzazione prima di ogni sottolivello rende gli stack profondi più facili e più stabili da addestrare
- Rimuove il meccanismo dell'attenzione
- Raddoppia automaticamente il tasso di apprendimento
- Why is a small epsilon added to LayerNorm’s variance before taking its square root?
- To make the batch size larger
- To replace the learnable scale
- To avoid division by zero and improve numerical stability
- To compute the sequence length
- If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
- It restores the original unnormalized inputs exactly
- It applies a softmax over features
- It changes the statistics to be batch-dependent
- It leaves the normalized values unchanged after the mean-and-variance scaling