Gids-gekoppelde quiz · Middelmatig Niveau
Laagnormalisatiequiz
Controleert LayerNorm-statistieken en affiene parameters, het gedrag van de batchgrootte, epsilon, RMSNorm en pre-normplaatsing. in diepe netwerken.
Vraag 1 van 8
Waarover berekent laagnormalisatie het gemiddelde en de variantie?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Waarover berekent laagnormalisatie het gemiddelde en de variantie?
- Over de kenmerken van één enkel voorbeeld
- Voor alle voorbeelden in de minibatch
- Over alle gewichten in het netwerk
- Over meerdere trainingsperioden heen
- Waarom heeft laagnormalisatie de voorkeur boven batchnormalisatie in transformatoren?
- Het vereist een zeer grote batchgrootte
- Het is onafhankelijk van de batchgrootte en verwerkt reeksen van variabele lengte
- Het elimineert de noodzaak voor leerbare parameters
- Het werkt alleen tijdens gevolgtrekking
- Wat laten de leerbare parameters gamma en bèta LayerNorm doen?
- Kies het leertarief
- Stel het aantal lagen in
- Schaal en verschuif de genormaliseerde uitvoer zodat het netwerk bruikbare representaties kan herstellen
- Elimineer de noodzaak van een activeringsfunctie
- Hoe verschilt RMSNorm van de standaard LayerNorm?
- In plaats daarvan normaliseert het over de hele batch
- Het gebruikt geen parameters en geen verdeling
- Het werkt alleen op afbeeldingen
- Het slaat de gemiddelde aftrekking over en deelt alleen door het wortel-gemiddelde-kwadraat
- Welk probleem helpt laagnormalisatie vooral in diepe netwerken op te lossen?
- Activeringen drijven naar zeer verschillende schalen, wat de training destabiliseert
- Er is bijna geen schijfruimte meer
- Het kiezen van de juiste dataset
- Het coderen van de modelgewichten
- Waarom wordt bij zeer diepe transformatoren vaak 'pre-norm' plaatsing toegepast?
- Het maakt het model kleiner
- Door vóór elke sublaag te normaliseren, zijn deep stacks gemakkelijker en stabieler te trainen
- Het verwijdert het aandachtsmechanisme
- Het verdubbelt automatisch de leersnelheid
- Why is a small epsilon added to LayerNorm’s variance before taking its square root?
- To make the batch size larger
- To replace the learnable scale
- To avoid division by zero and improve numerical stability
- To compute the sequence length
- If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
- It restores the original unnormalized inputs exactly
- It applies a softmax over features
- It changes the statistics to be batch-dependent
- It leaves the normalized values unchanged after the mean-and-variance scaling