LegközelebbKövetkező útmutató
Az optimalizáló állapotának letöltése a CPU-ra és az NVMe-re
Műszaki
Műszaki ÚTMUTATÓ
A Lookahead és a Lion két modern csavar a neurális hálózat optimalizálásában.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A Lookahead minden alapoptimalizálót „lassú” és „gyors” súlyozással borít be a stabilabb előrehaladás érdekében, míg a Lion-t (EvoLved Sign Momentum) egy mesterséges intelligencia program keresése fedezte fel, és csak a lendületi kifejezés előjele alapján frissíti a súlyokat – így memóriakönnyű és gyakran gyorsabb, mint Adam.
A Zhang, Hinton és munkatársai által 2019-ben javasolt Lookahead szabványos „gyors” optimalizálót futtat (például Adam vagy SGD) k lépésre, majd egy különálló „lassú” súlykészletet tol el az út töredéke felé, ahová a gyors súlyozás végül került. Ez csillapítja az oszcillációkat és csökkenti a hiperparaméterekre való érzékenységet. A Google által 2023-ban kiadott Lion az optimalizáló algoritmusok feletti szimbolikus programkeresésből jött ki. Nyomon követi a lendületet, de az előjel függvényt alkalmazza a frissítéshez, így minden paraméter fix lépésszámmal mozog a halmozott gradiens jel irányába. Az Oroszlán csak a lendületi puffert tárolja (Adam állapotának fele, amely kettőt megtart), nagyobb súlycsökkenést és kisebb tanulási sebességet használ, és nagy látás- és nyelvi modelleken mérte össze vagy legyőzte Ádámot, miközben gyorsabban és olcsóbban edz.
Adam beburkolása Lookahead-el a transzformátorok képzésének stabilizálása és a hiperparaméter-hangolási erőfeszítés csökkentése érdekében.
A Lion használata nagy látásmodellek (pl. ViT) betanítására, alacsonyabb optimalizáló memóriával, mint Adam.
Nyelvi modellek előképzése a Lion segítségével, hogy összehasonlítható pontosságot érjünk el csökkentett számítási költségek mellett.
A Lookahead és az SGD kombinálása megerősítő tanulási ágensekben a zajos irányelvfrissítések simítása érdekében.
A Lion-t számos nagyszabású képzésben alkalmazták, mert csökkenti az optimalizáló memóriáját és felgyorsíthatja a konvergenciát, és felfedezése az automatizált „AI-designing-AI” algoritmus keresését mutatja be, mint a gyakorlati előnyök valódi forrását. Több keresési eredetű optimalizáló, hibrid sémák, amelyek a Lookahead-stílusú lassú súlyozást előjel-alapú frissítésekkel vegyítik, valamint a memóriahatékony optimalizálók iránti növekvő érdeklődés, mivel a modellméretek folyamatosan megterhelik a GPU-memória költségvetését.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Lookahead és a Lion két modern csavar a neurális hálózat optimalizálásában. A Lookahead minden alapoptimalizálót „lassú” és „gyors” súlyozással borít be a stabilabb előrehaladás érdekében, míg a Lion-t (EvoLved Sign Momentum) egy mesterséges intelligencia program keresése fedezte fel, és csak a lendületi kifejezés előjelével frissíti a súlyokat – így memóriakönnyű és gyakran gyorsabb, mint Adam.
A Lion az előjelfüggvényt egy interpolált impulzustagra alkalmazza, így minden paraméter egyenletes lépéssel mozog a gradiens előjelének irányában.
A Lookahead egy gyors belső optimalizálót futtat k lépésre, majd a lassú súlyokat a gyors súlyozások felé mozgatja, és visszaállítja.
A Lion (EvoLved Sign Momentum) egy programkeresési eljárás eredményeként jött létre, amely a jelölt optimalizáló programokat fejlesztette és értékelte.
Adam tracks both first and second moments; A Lion csak egyetlen momentum puffert tart fenn, ami nagyjából a felére csökkenti az optimalizáló állapotmemóriáját.
Mivel az előjelfüggvény rögzíti az egyes koordináták frissítésének nagyságát, az effektív lépés nagy, ezért kisebb tanulási sebességet (és nagyobb súlycsökkenést) használnak.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Az optimalizáló állapotának letöltése a CPU-ra és az NVMe-re
Műszaki