VolgendeVolgende gids
AI in vroege waarschuwing voor aardbevingen
Toepassingen
Basisprincipes GIDS
Bij vroegtijdig stoppen wordt gebruik gemaakt van een validatiestatistiek om te beslissen wanneer een trainingsrun moet worden gestopt.
Luister naar deze gidsAI-verteld · ~2 min
Een geduldregel kan tijdelijke plateaus of ruis tolereren, terwijl het beste controlepunt behouden blijft; het effect ervan op de generalisatie hangt af van de metriek, gegevens en trainingsopstelling.
Het trainingsverlies kan blijven afnemen terwijl de validatieprestaties afnemen of verslechteren, wat op overfitting kan duiden. Een regel voor vroegtijdig stoppen bewaakt een geselecteerde validatiemetriek en stopt na een geconfigureerd aantal controles zonder een kwalificerende verbetering. De geduldinstelling maakt tijdelijke plateaus mogelijk; min_delta kan de minimale verandering specificeren die als verbetering geldt. Implementaties verschillen in wanneer ze controleren en of ze automatisch de beste gewichten herstellen, dus verifieer het callback-gedrag en sla of herstel het gewenste checkpoint op. Validatiecurven laten vaak – maar niet altijd – een aanvankelijke verbetering zien, gevolgd door een plateau of een daling. Vroegtijdig stoppen kan fungeren als regularisatie door de optimalisatietijd te beperken, maar garandeert geen lagere testfouten; validatiegegevens moeten gescheiden worden gehouden van de uiteindelijke testevaluatie.
Een Keras EarlyStopping-callback met geduld=10 monitoring val_loss en herstel_best_weights=True op een afbeeldingsclassificator
Een gradiënt-versterkte boom stoppen (XGBoost early_stopping_rounds) wanneer de validatie-AUC plateaus bereikt om te voorkomen dat nutteloze bomen worden toegevoegd
Het stoppen van de verfijning van een BERT-sentimentmodel zodra de validatie F1 stopt met stijgen, waardoor GPU-uren worden bespaard
Een Kaggle-concurrent die een validatie-fold gebruikt om vroeg te stoppen en het checkpoint met het laagste logverlies te kiezen
Vroegtijdig stoppen blijft een standaardmaatregel in bijna elke trainingspijplijn, maar de rol ervan verschuift. Met zeer grote modellen die zijn getraind voor een enkel tijdperk op enorme corpora, wordt het klassieke op tijdperken gebaseerde stoppen vervangen door monitoring op tokenbudgetten en leertemposchema's. Verwacht een nauwere integratie met geautomatiseerd zoeken naar hyperparameters, multimetrische criteria en budgetbewuste planners die beslissen wanneer voortgezette training de reken- en CO2-kosten niet langer rechtvaardigt.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Bij vroegtijdig stoppen wordt gebruik gemaakt van een validatiestatistiek om te beslissen wanneer een trainingsrun moet worden gestopt. Een geduldregel kan tijdelijke plateaus of ruis tolereren, terwijl het beste controlepunt behouden blijft; het effect ervan op de generalisatie hangt af van de metriek, gegevens en trainingsopstelling.
Vroegtijdig stoppen houdt een lange validatiewaarde in de gaten, omdat het trainingsverlies blijft dalen, zelfs als het model te veel past.
Geduld is het aantal toegestane tijdperken zonder verbetering voordat de training wordt stopgezet, waardoor luidruchtige validatiecurven worden afgevlakt.
Je herstelt het controlepunt uit het tijdperk met de beste validatiescore, niet het laatste tijdperk, dat mogelijk al overfit is.
Stoppen op basis van validatiegedrag kan het doorgaan met passen beperken, maar is niet identiek aan het toevoegen van een L2-straf en garandeert geen betere testprestaties.
min_delta bepaalt hoe groot een verbetering moet zijn om de geduldteller op nul te zetten, waardoor wordt voorkomen dat kleine fluctuaties op echte vooruitgang lijken.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
AI in vroege waarschuwing voor aardbevingen
Toepassingen