Gids-gekoppelde quiz · Middelmatig Niveau

Laagnormalisatiequiz

Controleert LayerNorm-statistieken en affiene parameters, het gedrag van de batchgrootte, epsilon, RMSNorm en pre-normplaatsing. in diepe netwerken.

Gerelateerde gidspadenNormalisatie van lagen
Vraag 1 van 8

Waarover berekent laagnormalisatie het gemiddelde en de variantie?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waarover berekent laagnormalisatie het gemiddelde en de variantie?
    • Over de kenmerken van één enkel voorbeeld
    • Voor alle voorbeelden in de minibatch
    • Over alle gewichten in het netwerk
    • Over meerdere trainingsperioden heen
  2. Waarom heeft laagnormalisatie de voorkeur boven batchnormalisatie in transformatoren?
    • Het vereist een zeer grote batchgrootte
    • Het is onafhankelijk van de batchgrootte en verwerkt reeksen van variabele lengte
    • Het elimineert de noodzaak voor leerbare parameters
    • Het werkt alleen tijdens gevolgtrekking
  3. Wat laten de leerbare parameters gamma en bèta LayerNorm doen?
    • Kies het leertarief
    • Stel het aantal lagen in
    • Schaal en verschuif de genormaliseerde uitvoer zodat het netwerk bruikbare representaties kan herstellen
    • Elimineer de noodzaak van een activeringsfunctie
  4. Hoe verschilt RMSNorm van de standaard LayerNorm?
    • In plaats daarvan normaliseert het over de hele batch
    • Het gebruikt geen parameters en geen verdeling
    • Het werkt alleen op afbeeldingen
    • Het slaat de gemiddelde aftrekking over en deelt alleen door het wortel-gemiddelde-kwadraat
  5. Welk probleem helpt laagnormalisatie vooral in diepe netwerken op te lossen?
    • Activeringen drijven naar zeer verschillende schalen, wat de training destabiliseert
    • Er is bijna geen schijfruimte meer
    • Het kiezen van de juiste dataset
    • Het coderen van de modelgewichten
  6. Waarom wordt bij zeer diepe transformatoren vaak 'pre-norm' plaatsing toegepast?
    • Het maakt het model kleiner
    • Door vóór elke sublaag te normaliseren, zijn deep stacks gemakkelijker en stabieler te trainen
    • Het verwijdert het aandachtsmechanisme
    • Het verdubbelt automatisch de leersnelheid
  7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
    • To make the batch size larger
    • To replace the learnable scale
    • To avoid division by zero and improve numerical stability
    • To compute the sequence length
  8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
    • It restores the original unnormalized inputs exactly
    • It applies a softmax over features
    • It changes the statistics to be batch-dependent
    • It leaves the normalized values unchanged after the mean-and-variance scaling