VolgendeVolgende gids
Batch versus realtime gevolgtrekking
Technisch
Technische GIDS
Batchnormalisatie is een techniek die tijdens de training de invoer naar elke laag van een neuraal netwerk opnieuw schaalt, waardoor diepe netwerken sneller en betrouwbaarder kunnen trainen.
Luister naar deze gidsAI-verteld · ~2 min
It became one of the most widely used tricks in deep learning.
Terwijl gegevens door een diep netwerk stromen, blijft de verdeling van waarden die elke laag voeden, verschuiven naarmate eerdere lagen worden bijgewerkt, wat de training vertraagt en destabiliseert. Batchnormalisatie, geïntroduceerd door Ioffe en Szegedy in 2015, pakt dit aan door de invoer van elke laag over de huidige minibatch te normaliseren, zodat ze een gemiddelde en eenheidsvariantie van ongeveer nul hebben. Vervolgens worden twee leerbare parameters toegepast, gamma en bèta, waardoor het netwerk kan schalen en de genormaliseerde waarden kan terugschuiven als dat helpt, zodat het geen representatieve kracht verliest. De winst is groot: netwerken tolereren hogere leersnelheden, convergeren in minder tijdvakken, zijn minder gevoelig voor gewichtsinitialisatie en generaliseren vaak iets beter. De valkuil is dat gedrag afhangt van batchstatistieken, dus zeer kleine batches kunnen het instabiel maken.
Het invoegen van batchnormlagen in een ResNet-beeldclassificator, zodat deze met een hogere leersnelheid kan trainen en in veel minder tijdsperioden kan convergeren.
Het stabiliseren van de training van een diep convolutioneel netwerk voor medische beeldvorming dat voorheen uiteenliep zonder normalisatie.
Vermindering van de gevoeligheid voor gewichtsinitialisatie in een aangepast CNN, zodat ingenieurs minder tijd besteden aan het handmatig afstemmen van startwaarden.
Overschakelen van batchstatistieken in de trainingsmodus naar opgeslagen lopende gemiddelden bij de implementatie van een model, zodat voorspellingen van één afbeelding consistent blijven.
Batchnormalisatie blijft een werkpaard in convolutionele visiemodellen, maar de afhankelijkheid van batchstatistieken is lastig voor terugkerende netwerken, kleine batches en gedistribueerde training. Dat heeft geleid tot de acceptatie van alternatieven zoals laagnormalisatie, die normaliseert over functies binnen één voorbeeld en nu de transformatorarchitecturen domineert, plus groeps- en instantienormalisatie voor specifieke domeinen. Er wordt nog steeds onderzoek gedaan naar normalisatievrije netwerken die de voordelen ervan evenaren door middel van zorgvuldige initialisatie en schaalvergroting. Verwacht dat normalisatie essentieel blijft, waarbij de specifieke variant wordt gekozen om bij de architectuur te passen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Batchnormalisatie is een techniek die tijdens de training de invoer naar elke laag van een neuraal netwerk opnieuw schaalt, waardoor diepe netwerken sneller en betrouwbaarder kunnen trainen. Het werd een van de meest gebruikte trucs bij deep learning.
Batchnorm standaardiseert de invoer van een laag met behulp van het gemiddelde en de variantie berekend over de huidige minibatch, waardoor activeringen binnen een stabiel bereik blijven naarmate de training vordert.
Na normalisatie naar nulgemiddelde en eenheidsvariantie, laten gamma en bèta het netwerk de waarden herschalen en opnieuw verschuiven als dat gunstig is, dus normalisatie beperkt niet wat de laag kan vertegenwoordigen.
Door de laaginvoer goed geschaald te houden, zorgt de batchnorm ervoor dat netwerken met grotere leersnelheden kunnen trainen, sneller kunnen convergeren en minder gevoelig kunnen zijn voor initialisatie.
Het gebruik van live batchstatistieken bij gevolgtrekking zou ervoor zorgen dat een voorspelling afhangt van welke andere voorbeelden de batch delen. In plaats daarvan gebruikt de batchnorm vaste lopende gemiddelden die tijdens de training zijn opgeslagen.
Batchnorm hangt af van het schatten van het gemiddelde en de variantie van de batch. Omdat er maar heel weinig voorbeelden zijn, zijn deze schattingen luidruchtig, wat de training kan destabiliseren.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Batch versus realtime gevolgtrekking
Technisch