Gids-gekoppelde quiz · Moeilijk Niveau

Batchnormalisatiequiz

Controleert batchstatistieken, affiene schaal en verschuiving, lopende gemiddelden, instabiliteit van kleine batches en hoe BatchNorm verschilt van LayerNorm.

Gerelateerde gidspadenBatch-normalisatie
Vraag 1 van 8

Wat normaliseert batchnormalisatie?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat normaliseert batchnormalisatie?
    • De invoer voor een laag, over de voorbeelden in de huidige minibatch heen
    • De definitieve uitvoerlabels van het netwerk
    • Het leersnelheidsschema in de loop van de tijd
    • De grootte van de trainingsgegevensset
  2. Waarom omvat batchnormalisatie leerbare parameters gamma en bèta?
    • Om de omvang van de dataset te vergroten
    • Om het netwerk te laten schalen en de genormaliseerde waarden te verschuiven, met behoud van representatieve kracht
    • Om tijdens de training willekeurig neuronen te laten vallen
    • Om de verliesfunctie te berekenen
  3. Wat is een vaak aangehaald praktisch voordeel van batchnormalisatie?
    • Het elimineert de noodzaak voor trainingsgegevens
    • Het garandeert dat het model niet overfit kan worden
    • Het maakt hogere leersnelheden en snellere, stabielere convergentie mogelijk
    • Het elimineert de noodzaak van een activeringsfunctie
  4. Welke statistieken worden bij de inferentietijd (voorspellen op basis van nieuwe gegevens) gebruikt bij batchnormalisatie?
    • Alleen het gemiddelde en de variantie van de huidige enkele invoer
    • Elke keer willekeurig gegenereerde statistieken
    • De statistieken van de testset zijn vooraf berekend
    • Lopende gemiddelden van gemiddelde en variantie verzameld tijdens de training
  5. Waarom kan batchnormalisatie zich slecht gedragen bij zeer kleine batchgroottes?
    • Batchstatistieken worden luidruchtige en onbetrouwbare schattingen van de werkelijke verdeling
    • Kleine batches maken het model te groot om in het geheugen te passen
    • Het schakelt de activeringsfuncties uit
    • Kleine batches dwingen het gebruik van L1-regularisatie af
  6. Welke normalisatietechniek wordt het meest gebruikt in transformatorarchitecturen als alternatief voor batchnormalisatie?
    • Normalisatie van uitval
    • Normalisatie van lagen
    • L2 normalisatie van het verlies
    • Verloop knippen
  7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
    • To retrain the model on test data
    • To make all activations exactly zero
    • So a prediction does not depend on which other examples happen to share the batch
    • To eliminate learned gamma and beta
  8. Where is BatchNorm commonly placed within a layer block according to the guide?
    • Only after the final prediction
    • Before the input data are loaded
    • Inside the optimizer update
    • Between the linear transformation and its activation function