Test legat de ghid · Mediu Nivel
Test de normalizare a straturilor
Verifică statisticile LayerNorm și parametrii afini, comportamentul său la dimensiunea lotului, epsilon, RMSNorm și plasarea pre-normă. în rețele profunde.
Întrebare 1 de 8
În ce anume își calculează normalizarea stratului media și varianța?
Previzualizează fiecare întrebare8 întrebări
Răspunsurile și explicațiile apar pe măsură ce susțineți testul.
- În ce anume își calculează normalizarea stratului media și varianța?
- Prin caracteristicile unui singur exemplu
- În toate exemplele din mini-lotul
- În toate greutățile din rețea
- De-a lungul mai multor epoci de antrenament
- De ce este preferată normalizarea stratului față de normalizarea loturilor în transformatoare?
- Este nevoie de o dimensiune a lotului foarte mare
- Este independent de dimensiunea lotului și gestionează secvențe cu lungime variabilă
- Elimină necesitatea oricăror parametri care pot fi învățați
- Funcționează doar în timpul inferenței
- Ce îi permit parametrilor învățați gamma și beta să facă LayerNorm?
- Alegeți rata de învățare
- Setați numărul de straturi
- Redimensionați și mutați ieșirea normalizată, astfel încât rețeaua să poată recupera reprezentări utile
- Eliminați necesitatea unei funcții de activare
- Cum diferă RMSNorm de LayerNorm standard?
- În schimb, se normalizează în întregul lot
- Nu folosește parametri și nici diviziune
- Funcționează doar pe imagini
- Omite scăderea medie și împarte numai la rădăcină-media-pătrată
- Ce problemă ajută în principal la rezolvarea normalizării straturilor în rețelele profunde?
- Activări în derivă la scări foarte diferite, ceea ce destabiliza antrenamentul
- Rămâi fără spațiu pe disc
- Alegerea setului de date potrivit
- Criptarea greutăților modelului
- De ce este adesea folosită plasarea „pre-normă” în transformatoarele foarte adânci?
- Face modelul mai mic
- Normalizarea înainte de fiecare substrat face ca stivele adânci să fie mai ușor și mai stabile de antrenat
- Îndepărtează mecanismul atenției
- Acesta dublează automat rata de învățare
- Why is a small epsilon added to LayerNorm’s variance before taking its square root?
- To make the batch size larger
- To replace the learnable scale
- To avoid division by zero and improve numerical stability
- To compute the sequence length
- If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
- It restores the original unnormalized inputs exactly
- It applies a softmax over features
- It changes the statistics to be batch-dependent
- It leaves the normalized values unchanged after the mean-and-variance scaling