Quiz collegato alla guida · Difficile Livello
RMSNorm e quiz sulla normalizzazione pre-strato
Controlla le statistiche RMSNorm, il posizionamento Pre-LN, i percorsi residui e la normalizzazione delle chiavi di query senza confondere queste scelte di progettazione indipendenti.
Domanda 1 di 8
Cosa omette RMSNorm rispetto a LayerNorm standard?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa omette RMSNorm rispetto a LayerNorm standard?
- Sottrazione media (ricentramento)
- Il parametro di scala appreso
- La connessione residua
- L'operazione softmax
- Per quale quantità RMSNorm divide ciascun vettore di attivazione?
- La sua varianza
- La sua radice significa quadrata
- Il suo massimo valore assoluto
- La sua norma L1
- What gradient behavior does Pre-LN support at initialization in deep Transformers?
- It guarantees stable training for every model without tuning
- It removes the residual stream from the block
- It can make gradients better behaved at initialization and reduce some stability problems
- It makes all gradients exactly equal across layers
- In un blocco Pre-LN, quale percorso il livello di normalizzazione lascia deliberatamente intatto?
- I pesi feed-forward
- Gli incorporamenti di token
- L'output softmax
- La connessione residua (identità).
- Quali moderne famiglie di modelli a peso aperto utilizzano RMSNorm per impostazione predefinita?
- LLaMA, Mistral e Qwen
- AlexNet e VGG
- ResNet e Inception
- Base BERT e il trasformatore originale
- Cos'è la "norma QK", una recente applicazione di RMSNorm?
- Normalizzazione dei log di output finali
- Applicazione di RMSNorm alle query e alle chiavi di attenzione per controllare la crescita dei logit
- Quantizzazione della cache dei valori-chiave
- Un modo per saltare del tutto la normalizzazione
- A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
- It always sets the mean exactly to zero
- It replaces each feature with its rank
- It does not explicitly subtract the mean, though rescaling can change its value
- It subtracts the maximum activation from every feature
- How are RMSNorm and Pre-LN related as design choices?
- They are two names for subtracting the mean
- RMSNorm always means normalization after the residual
- Pre-LN specifies the optimizer rather than the block
- RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block