VolgendeVolgende gids
Gewichtsverval en L2-regularisatie
Grondbeginselen
Basisprincipes GIDS
Regularisatie omvat technieken die het passen beperken in een poging de prestaties op ongeziene data te verbeteren.
Luister naar deze gidsAI-verteld · ~3 min
Het kan overfitting verminderen, maar de sterkte en methode moeten geëvalueerd worden omdat te strenge beperkingen ook onderfitting kunnen veroorzaken.
A flexible model can fit training-specific patterns that do not help on unseen data. Regularization changes the fitting process to discourage some of that behavior. One approach adds a penalty based on the model's weights to the prediction loss. An L2 penalty uses a sum of squared weights and encourages shrinkage. An L1 penalty uses absolute values and, in methods such as Lasso, can produce exact zero coefficients. These penalties are mathematical definitions, so their values can be calculated for a given weight vector. For weights minus two and one, the unscaled L1 penalty is three, while the sum-of-squares L2 penalty is five. The total objective may be written as prediction error plus lambda times the penalty. Lambda determines how much influence that penalty has; it does not erase the prediction-error term. Dropout takes a different approach by randomly zeroing activations during training rather than permanently deleting neurons. Early stopping limits training based on a monitored criterion, often validation performance. Data augmentation can also help constrain what patterns a model learns by supplying relevant variations. None of these methods guarantees better performance in every task. Too much regularization can prevent a model from fitting useful structure. Compare training and validation behavior, choose settings with appropriate validation data, and reserve a separate test set for final evaluation when possible. L2 penalties should also not be treated as universally identical to optimizer weight decay: the Decoupled Weight Decay paper explains important differences for adaptive optimizers.
Een L2-penalty evalueren bij het trainen van een beeldclassifier.
L1-gestraalde regressie gebruiken om een spaarzame set kandidaatfeatures te selecteren.
Dropout toepassen om willekeurig activaties op nul te zetten tijdens het trainen van een neuraal netwerk.
Een stoppunt kiezen op basis van de prestaties op een afgehouden validatieset.
Onderzoek naar regularisatie omvat expliciete straffen, augmentatie en de invloed van optimalisatie op welke gefitte oplossing wordt gekozen. Verbeteringen moeten worden beoordeeld op relevante held-out data in plaats van te worden aangenomen op basis van de naam van een techniek. De keuze van de methode kan variëren per architectuur en taak, en een sterkere beperking kan in één setting helpen terwijl het in een andere schaadt. Duidelijk rapporteren van de straf, de sterkte, het stopcriterium en de evaluatie splitsing maakt resultaten gemakkelijker te interpreteren en te vergelijken.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Regularisatie omvat technieken die het fitten beperken in een poging de prestaties op onzichtbare data te verbeteren. Het kan overfitting verminderen, maar de sterkte en methode moeten worden geëvalueerd omdat overmatige beperkingen ook onderfitting kunnen veroorzaken.
Regularisatie beoogt de generalisatie te verbeteren, met een effect dat gevalideerd moet worden in plaats van gegarandeerd te zijn.
L1 bestraft de absolute waarde van gewichten, waardoor minder nuttige gewichten naar precies nul worden geduwd, waardoor automatische functieselectie wordt uitgevoerd. L2 verkleint gewichten soepel, maar zelden tot precies nul.
Bij drop-out wordt bij elke trainingsstap willekeurig een fractie van de activeringen op nul gezet, waardoor wordt voorkomen dat neuronen te zwaar op elkaar vertrouwen en een geheel van subnetwerken wordt benaderd.
Lambda regelt de regularisatiesterkte. Een grotere lambda geeft de straf meer invloed, waardoor de gewichten agressiever worden verlaagd naar eenvoudigere modellen.
Door te stoppen wanneer de validatieprestaties niet meer verbeteren, kan het model niet doorgaan in het regime waarin het ruis onthoudt, net zoals andere regularizers de complexiteit beperken.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Gewichtsverval en L2-regularisatie
Grondbeginselen