VolgendeVolgende gids
Versterking nauwkeurig afstemmen met graders
Technisch
Technische GIDS
Hyperparameters zijn de instellingen die u vóór de training kiest, zoals leersnelheid of modelgrootte, die het model niet zelf leert.
Luister naar deze gidsAI-verteld · ~2 min
Tuning them well is often the difference between a mediocre model and a great one.
Modelparameters (de gewichten) worden tijdens de training uit gegevens geleerd. Hyperparameters zijn anders: het zijn de knoppen die u vooraf instelt en bepalen hoe het leren plaatsvindt, zoals leersnelheid, batchgrootte, aantal lagen, regularisatiesterkte en hoe lang u moet trainen. Ze kunnen niet rechtstreeks worden geoptimaliseerd door gradiëntafdaling, dus zoek je naar goede waarden door veel kandidaatmodellen te trainen en ze te vergelijken op een validatieset. De eenvoudigste aanpak is zoeken in een raster, waarbij elke combinatie op een vooraf gedefinieerd raster wordt geprobeerd, maar de schaal is vreselijk. Willekeurig zoeken vindt vaak sneller goede instellingen door combinaties te bemonsteren. Meer geavanceerde Bayesiaanse optimalisatie bouwt een probabilistisch model op waarvan de instellingen er veelbelovend uitzien en richt de zoekopdracht daarop. Het leertempo is meestal de meest impactvolle hyperparameter om goed te krijgen.
Grote leersnelheden van verschillende ordes van grootte om de waarde te vinden waarbij een netwerk snel traint zonder te divergeren.
Willekeurig zoeken gebruiken om de boomdiepte, het aantal bomen en de leersnelheid af te stemmen voor een gradiëntverhogend model op tabelgegevens.
Bayesiaanse optimalisatie uitvoeren om de regularisatiesterkte en batchgrootte gezamenlijk af te stemmen voor een diep netwerk met een beperkt GPU-budget.
Hyperband toepassen om tientallen configuraties kort te trainen, en vervolgens alleen meer tijdperken aan de meest veelbelovende overlevenden geven.
Handmatige en rastergebaseerde afstemming maken plaats voor geautomatiseerd machinaal leren (AutoML) en slimmer zoeken, zoals Bayesiaanse optimalisatie en Hyperband, die veel efficiënter gebruik maken van rekenkracht. Naarmate basismodellen groeien, wordt volledige herscholing per proef onbetaalbaar, dus verschuift de aandacht naar goedkopere proxy's, het opschalen van wetten die goede instellingen voorspellen vanaf kleine runs, en het afstemmen van lichtgewicht adapters in plaats van hele modellen. Verwacht dat tuning steeds meer geautomatiseerd en budgetbewust zal worden, met tools die zoekkosten expliciet afzetten tegen verwachte winsten.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Hyperparameters zijn de instellingen die u vóór de training kiest, zoals leersnelheid of modelgrootte, die het model niet zelf leert. Het goed afstemmen ervan is vaak het verschil tussen een middelmatig model en een geweldig model.
Gewichten (parameters) worden tijdens de training uit gegevens geleerd. Hyperparameters, zoals de leersnelheid of het aantal lagen, worden vooraf gekozen en bepalen hoe de training verloopt.
De leersnelheid heeft een grote invloed op de vraag of en hoe snel een model convergeert. Te hoog en de opleiding loopt uiteen; te laag en hij kruipt of komt vast te zitten.
Zoeken via een raster verspilt proeven op onbelangrijke dimensies. Willekeurig zoeken verkent de ruimte efficiënter en bereikt vaak goede configuraties met minder pogingen.
Bayesiaanse optimalisatie modelleert de relatie tussen configuraties en validatiescores en selecteert vervolgens de volgende proef om de verkenning van onzekere regio's in evenwicht te brengen met de exploitatie van veelbelovende regio's.
Bij afstemmen worden instellingen gekozen die het beste passen bij de gegevens die u evalueert. Als dat de testset is, zijn uw gerapporteerde prestaties te hoog. Bij het afstemmen wordt in plaats daarvan een aparte validatieset gebruikt.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Versterking nauwkeurig afstemmen met graders
Technisch