Gids-gekoppelde quiz · Moeilijk Niveau
Batchnormalisatiequiz
Controleert batchstatistieken, affiene schaal en verschuiving, lopende gemiddelden, instabiliteit van kleine batches en hoe BatchNorm verschilt van LayerNorm.
Vraag 1 van 8
Wat normaliseert batchnormalisatie?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat normaliseert batchnormalisatie?
- De invoer voor een laag, over de voorbeelden in de huidige minibatch heen
- De definitieve uitvoerlabels van het netwerk
- Het leersnelheidsschema in de loop van de tijd
- De grootte van de trainingsgegevensset
- Waarom omvat batchnormalisatie leerbare parameters gamma en bèta?
- Om de omvang van de dataset te vergroten
- Om het netwerk te laten schalen en de genormaliseerde waarden te verschuiven, met behoud van representatieve kracht
- Om tijdens de training willekeurig neuronen te laten vallen
- Om de verliesfunctie te berekenen
- Wat is een vaak aangehaald praktisch voordeel van batchnormalisatie?
- Het elimineert de noodzaak voor trainingsgegevens
- Het garandeert dat het model niet overfit kan worden
- Het maakt hogere leersnelheden en snellere, stabielere convergentie mogelijk
- Het elimineert de noodzaak van een activeringsfunctie
- Welke statistieken worden bij de inferentietijd (voorspellen op basis van nieuwe gegevens) gebruikt bij batchnormalisatie?
- Alleen het gemiddelde en de variantie van de huidige enkele invoer
- Elke keer willekeurig gegenereerde statistieken
- De statistieken van de testset zijn vooraf berekend
- Lopende gemiddelden van gemiddelde en variantie verzameld tijdens de training
- Waarom kan batchnormalisatie zich slecht gedragen bij zeer kleine batchgroottes?
- Batchstatistieken worden luidruchtige en onbetrouwbare schattingen van de werkelijke verdeling
- Kleine batches maken het model te groot om in het geheugen te passen
- Het schakelt de activeringsfuncties uit
- Kleine batches dwingen het gebruik van L1-regularisatie af
- Welke normalisatietechniek wordt het meest gebruikt in transformatorarchitecturen als alternatief voor batchnormalisatie?
- Normalisatie van uitval
- Normalisatie van lagen
- L2 normalisatie van het verlies
- Verloop knippen
- Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
- To retrain the model on test data
- To make all activations exactly zero
- So a prediction does not depend on which other examples happen to share the batch
- To eliminate learned gamma and beta
- Where is BatchNorm commonly placed within a layer block according to the guide?
- Only after the final prediction
- Before the input data are loaded
- Inside the optimizer update
- Between the linear transformation and its activation function