Quiz collegato alla guida · Difficile Livello

RMSNorm e quiz sulla normalizzazione pre-strato

Controlla le statistiche RMSNorm, il posizionamento Pre-LN, i percorsi residui e la normalizzazione delle chiavi di query senza confondere queste scelte di progettazione indipendenti.

Percorsi guida correlatiRmsnorm e normalizzazione pre-strato
Domanda 1 di 8

Cosa omette RMSNorm rispetto a LayerNorm standard?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa omette RMSNorm rispetto a LayerNorm standard?
    • Sottrazione media (ricentramento)
    • Il parametro di scala appreso
    • La connessione residua
    • L'operazione softmax
  2. Per quale quantità RMSNorm divide ciascun vettore di attivazione?
    • La sua varianza
    • La sua radice significa quadrata
    • Il suo massimo valore assoluto
    • La sua norma L1
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. In un blocco Pre-LN, quale percorso il livello di normalizzazione lascia deliberatamente intatto?
    • I pesi feed-forward
    • Gli incorporamenti di token
    • L'output softmax
    • La connessione residua (identità).
  5. Quali moderne famiglie di modelli a peso aperto utilizzano RMSNorm per impostazione predefinita?
    • LLaMA, Mistral e Qwen
    • AlexNet e VGG
    • ResNet e Inception
    • Base BERT e il trasformatore originale
  6. Cos'è la "norma QK", una recente applicazione di RMSNorm?
    • Normalizzazione dei log di output finali
    • Applicazione di RMSNorm alle query e alle chiavi di attenzione per controllare la crescita dei logit
    • Quantizzazione della cache dei valori-chiave
    • Un modo per saltare del tutto la normalizzazione
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block