VolgendeVolgende gids
Empirische risicominimalisatie
Grondbeginselen
Technische GIDS
Sharpness-Aware Minimization (SAM) is een optimalisatiemethode die niet alleen streeft naar een laag verlies, maar naar een laag verlies over een hele reeks gewichten – een vlak minimum.
Luister naar deze gidsAI-verteld · ~2 min
Flatter minima tend to generalize better, so SAM often improves test accuracy and robustness without changing the model architecture.
Standaardtraining minimaliseert het verlies op één punt in de gewichtsruimte, maar twee oplossingen met hetzelfde trainingsverlies kunnen zich heel anders gedragen: een 'scherp' minimum bevindt zich in een smal dal waar kleine gewichtsverstoringen het verlies vergroten, terwijl een 'vlak' minimum verstoring tolereert en doorgaans beter generaliseert naar onzichtbare gegevens. SAM, geïntroduceerd door Google onderzoekers in 2020, maakt dit expliciet. Bij elke stap vindt het eerst de nabijgelegen gewichtsverstoring (binnen een kleine straal rho) die het verlies maximaliseert (de slechtste buur) en werkt vervolgens de oorspronkelijke gewichten bij om het verlies op dat verstoorde punt te verminderen. Deze min-max-doelstelling duwt de optimalisatie naar gebieden die uniform laag zijn, wat een merkbaar betere generalisatie oplevert op het gebied van beeldclassificatie en daarbuiten.
Verbetering van de nauwkeurigheid van Vision Transformer en ResNet op ImageNet door te trainen met SAM in plaats van gewone SGD.
Verbetering van de robuustheid bij het labelen van ruis, omdat bij platte minima de kans kleiner is dat beschadigde labels worden onthouden.
Het verfijnen van vooraf getrainde taalmodellen met SAM om een betere generalisatie op kleine downstream-datasets te krijgen.
Het gebruik van ESAM- of LookSAM-varianten wanneer de verdubbelde rekenkosten van gewone SAM te duur zijn.
SAM heeft een reeks follow-ups voortgebracht die gericht zijn op zijn grootste zwakte, de verdubbelde rekenkracht: efficiënte varianten zoals ESAM, LookSAM en methoden die slechts een subset van gewichten verstoren of SAM om de paar stappen toepassen. Adaptieve SAM (ASAM) herparameteriseert de straal zodat deze schaalinvariant is. Onderzoekers blijven discussiëren over waarom vlakheid precies helpt en hoe dit te meten, en scherptebewuste ideeën verspreiden zich om grote taalmodellen te verfijnen en de robuustheid van distributieverschuivingen te verbeteren.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Sharpness-Aware Minimization (SAM) is een optimalisatiemethode die niet alleen streeft naar een laag verlies, maar naar een laag verlies over een hele reeks gewichten – een vlak minimum. Plattere minima hebben de neiging beter te generaliseren, dus SAM verbetert vaak de testnauwkeurigheid en robuustheid zonder de modelarchitectuur te veranderen.
SAM streeft naar vlakke minima omdat verlies dat laag blijft bij kleine gewichtsverstoringen de neiging heeft om beter te generaliseren naar ongeziene gegevens.
SAM berekent een gradiënt om het slechtste punt in de buurt te vinden en vervolgens een andere gradiënt om bij te werken – ongeveer het dubbele van de gebruikelijke kosten.
Rho bepaalt hoe ver de 'opstijging'-stap beweegt om de slechtste buur te vinden, en definieert hoe groot een vlak gebied SAM zoekt.
SAM verstoort eerst de gewichten binnen straal rho in de richting die het verlies maximaliseert, en daalt vervolgens af vanaf het oorspronkelijke punt met behulp van de daar berekende gradiënt.
Het onthouden van luidruchtige labels vereist doorgaans scherpe, smalle minima; door de voorkeur te geven aan vlakke gebieden, weerstaat SAM die overfitting.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Empirische risicominimalisatie
Grondbeginselen