VolgendeVolgende gids
Optimizer State Offloading naar CPU en NVMe
Technisch
Technische GIDS
Lookahead en Lion zijn twee moderne varianten van neurale netwerkoptimalisatie.
Luister naar deze gidsAI-verteld · ~2 min
Lookahead omhult elke basisoptimalisatie met 'langzame' en 'snelle' gewichten voor stabielere voortgang, terwijl Lion (EvoLved Sign Momentum) werd ontdekt door een AI-programmazoekopdracht en de gewichten bijwerkt met alleen het teken van een momentumterm - waardoor het geheugenlicht en vaak sneller is dan Adam.
Lookahead, voorgesteld door Zhang, Hinton en collega's in 2019, voert een standaard 'snelle' optimizer uit (zoals Adam of SGD) voor k stappen, en duwt vervolgens een afzonderlijke reeks 'langzame' gewichten een fractie van de weg naar waar de snelle gewichten terechtkwamen. Dit dempt oscillaties en vermindert de gevoeligheid voor hyperparameters. Lion, gepubliceerd door Google in 2023, kwam voort uit symbolische programmazoekopdrachten via optimalisatie-algoritmen. Het volgt het momentum, maar past de tekenfunctie toe op de update, zodat elke parameter met een vaste stapgrootte in de richting van het geaccumuleerde gradiëntteken beweegt. Lion slaat alleen de momentumbuffer op (de helft van de toestand van Adam, die er twee behoudt), gebruikt een groter gewichtsverval en een kleinere leersnelheid, en heeft Adam geëvenaard of verslagen op grote visie- en taalmodellen terwijl hij sneller en goedkoper traint.
Adam inpakken met Lookahead om de training van transformatoren te stabiliseren en de inspanningen voor het afstemmen van hyperparameters te verminderen.
Lion gebruiken om grote zichtmodellen (bijvoorbeeld ViT) te trainen met een lager optimalisatiegeheugen dan Adam.
Taalmodellen vooraf trainen met Lion om vergelijkbare nauwkeurigheid te bereiken tegen lagere rekenkosten.
Het combineren van Lookahead met SGD in versterkingslerende agenten om luidruchtige beleidsupdates glad te strijken.
Lion is gebruikt in verschillende grootschalige trainingen omdat het het optimalisatiegeheugen vermindert en de convergentie kan versnellen, en de ontdekking ervan laat zien dat geautomatiseerde 'AI-designing-AI'-algoritmen zoeken een echte bron van praktische voordelen zijn. Verwacht meer op zoekopdrachten gebaseerde optimalisaties, hybride schema's die langzame gewichten in Lookahead-stijl combineren met op tekens gebaseerde updates, en een groeiende belangstelling voor geheugenefficiënte optimalisaties, omdat modelgroottes de GPU-geheugenbudgetten onder druk blijven zetten.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Lookahead en Lion zijn twee moderne varianten van neurale netwerkoptimalisatie. Lookahead omhult elke basisoptimalisatie met 'langzame' en 'snelle' gewichten voor stabielere voortgang, terwijl Lion (EvoLved Sign Momentum) werd ontdekt door een AI-programmazoekopdracht en de gewichten bijwerkt met alleen het teken van een momentumterm - waardoor het geheugenlicht en vaak sneller is dan Adam.
Lion past de tekenfunctie toe op een geïnterpoleerde momentumterm, zodat elke parameter een uniforme stap in de tekenrichting van de gradiënt beweegt.
Lookahead voert een snelle interne optimalisatie uit voor k stappen en verplaatst vervolgens de langzame gewichten een fractie van de weg naar de snelle gewichten en reset.
Lion (EvoLved Sign Momentum) is voortgekomen uit een programmazoekprocedure die kandidaat-optimalisatieprogramma's ontwikkelde en evalueerde.
Adam volgt zowel het eerste als het tweede moment; Lion houdt slechts één momentumbuffer aan, waardoor het statusgeheugen van de optimalisatie grofweg wordt gehalveerd.
Omdat de tekenfunctie de omvang van de update van elke coördinaat vastlegt, is de effectieve stap groot, dus wordt een kleinere leersnelheid (en een groter gewichtsverval) gebruikt.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Optimizer State Offloading naar CPU en NVMe
Technisch