DalšíDalší průvodce
Optimalizace relativních zásad skupiny
Technický
Technický PRŮVODCE
Optimalizace druhého řádu využívá informace o zakřivení (Hessova matice druhých derivací), aby podnikla chytřejší kroky směrem k minimu, nejen ke sklonu.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Může konvergovat v dramaticky menším počtu iterací než sestup s prostým gradientem, ale kvůli nákladům na výpočet zakřivení je jeho škálování obtížné.
Gradient sestup zná pouze sklon ve vašem aktuálním bodě, takže vybírá pevnou nebo ručně vyladěnou velikost kroku a doufá v to nejlepší. Newtonova metoda jde ještě dále: také sleduje, jak se mění sklon (zakřivení), zachycené Hessiánem, maticí všech druhých parciálních derivací. Aktualizace vynásobí inverzní Hessian gradientem, který automaticky změní měřítko každého směru a přistane blízko minima místní kvadratické aproximace. Pro dokonale kvadratickou mísu dosáhne Newtonova metoda dna v jediném kroku. Háček je brutální: model s N parametry má N-by-N Hessian, takže jeho uložení a invertování stojí zhruba N-kvadrát paměti a N-krychlový výpočet. U sítí s miliardami parametrů je to nemožné, a proto praktici používají levnější aproximace.
L-BFGS zapadá do logistické regrese a dalších konvexních modelů ve scikit-learn, kde často překonává prostý gradient sestup na malých až středních souborech dat
Úprava svazku při 3D rekonstrukci a SLAM, kde Gauss-Newton a Levenberg-Marquardt zdokonalují pozice kamery a pozice bodů
Trénink malých neuronových sítí informovaných o fyzice, kde L-BFGS dosahuje přesnosti, kterou Adam jen těžko dosahuje
Šampon a K-FAC urychlují rozsáhlý trénink hlubokého učení aproximací Hessianovy struktury
Pro obří neuronové sítě zůstávají úplné metody druhého řádu nepraktické, ale aproximace se prosazují. Optimalizátory jako K-FAC a Shampoo přibližují zakřivení pomocí blokové úhlopříčky nebo struktury faktorované Kroneckerem a novější metody jako Sophia a Muon používají levné odhady zakřivení k urychlení přípravy velkých jazykových modelů. Očekávejte pokračující úsilí o zachycení užitečného signálu zakřivení za cenu blízkou prvnímu řádu, čímž se zmenší propast mezi Adamem a skutečnými Newtonovými kroky.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Optimalizace druhého řádu využívá informace o zakřivení (Hessova matice druhých derivací), aby podnikla chytřejší kroky směrem k minimu, nejen ke sklonu. Může konvergovat v dramaticky menším počtu iterací než sestup s prostým gradientem, ale kvůli nákladům na výpočet zakřivení je jeho škálování obtížné.
Newtonova metoda rozšiřuje gradient o zakřivení z Hessianu, umožňuje změnit měřítko směrů a aproximovat místní kvadratické minimum.
Na přesné kvadratice se místní kvadratický model rovná skutečné funkci, takže jeden Newtonův krok skočí rovnou na minimum.
S N parametry má Hessian N-squared položek a invertování měří jako N-cubed, což je neproveditelné při miliardách parametrů.
BFGS iterativně aktualizuje odhad inverzní Hessian pomocí změn v gradientu mezi kroky, čímž se vyhne přímému výpočtu.
„L“ znamená omezenou paměť: L-BFGS uchovává jen hrstku posledních vektorů a redukuje úložiště z N-kvadrátu na zhruba malý násobek N.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Optimalizace relativních zásad skupiny
Technický