VolgendeVolgende gids
Gegroepeerde beloningsnormalisatie in RLHF
Grondbeginselen
Basisprincipes GIDS
Groepsnormalisatie is een techniek die neurale netwerktraining stabiliseert door functies binnen kleine groepen kanalen te normaliseren, onafhankelijk voor elk voorbeeld.
Luister naar deze gidsAI-verteld · ~2 min
Het is belangrijk omdat het, in tegenstelling tot batchnormalisatie, goed werkt, zelfs als de batches klein zijn.
Normalisatielagen zorgen ervoor dat de cijfers door een goed geschaald netwerk stromen, wat de training versnelt en stabiliseert. Batchnormalisatie doet dit door het gemiddelde en de variantie van elk kenmerk over de hele minibatch te berekenen, maar dat maakt het kwetsbaar als batches klein zijn, omdat de statistieken luidruchtig en onbetrouwbaar worden. Groepsnormalisatie, geïntroduceerd door Wu en He in 2018, verwijdert de batch volledig uit de vergelijking. Voor elk afzonderlijk voorbeeld splitst het de kanalen in een vast aantal groepen, waarna elke groep wordt genormaliseerd met alleen de eigen waarden van dat voorbeeld. Omdat de berekening nooit afhankelijk is van andere voorbeelden in de batch, blijven de prestaties stabiel, ongeacht of de batch 32 afbeeldingen bevat of slechts één, waardoor deze populair is bij detectie-, segmentatie- en geheugenintensieve zichttaken.
Objectdetectie en exemplaarsegmentatie (bijvoorbeeld Mask R-CNN-stijlmodellen) getraind met zeer kleine batches per GPU.
De U-Net-backbones bevinden zich in diffusiebeeldgeneratoren, waar Group Norm de schaal van kenmerken stabiliseert.
3D- en videonetwerken waarbij een hoog geheugengebruik de batchgrootte tot één of twee dwingt.
Het verfijnen van grote vision-modellen op beperkte hardware waarbij kleine batches de Batch Norm-statistieken onbetrouwbaar maken.
Groepsnormalisatie blijft de beste keuze overal waar batches klein moeten zijn, zoals detectie en segmentatie met hoge resolutie, 3D- en videomodellen en training met beperkte geheugen. Het is ook ingebed in veelgebruikte generatieve architecturen zoals de U-Nets in diffusiemodellen. Naarmate de modellen groeien en de geheugendruk de batchgroottes verkleint, zullen batch-onafhankelijke normalisatoren, waaronder Group Norm naast Layer Norm, waarschijnlijk standaardbouwstenen blijven, met voortdurend onderzoek naar hybriden en normalisatievrije alternatieven.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Groepsnormalisatie is een techniek die neurale netwerktraining stabiliseert door functies binnen kleine groepen kanalen te normaliseren, onafhankelijk voor elk voorbeeld. Het is belangrijk omdat het, in tegenstelling tot batchnormalisatie, goed werkt, zelfs als de batches klein zijn.
De gids zegt dat GN groepen kanalen binnen elk voorbeeld normaliseert.
Het artikel legt de nadruk op stabiel gedrag bij kleine batchgroottes, omdat de berekeningen niet afhankelijk zijn van batchstatistieken.
Bij de berekening van het artikel wordt gebruik gemaakt van groepsstatistieken binnen het voorbeeld, onafhankelijk van de batchgrootte.
In de gids staat dat één groep het schema reduceert tot LayerNorm.
De gids zegt dat één kanaal per groep overeenkomt met InstanceNorm.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Gegroepeerde beloningsnormalisatie in RLHF
Grondbeginselen