LegközelebbKövetkező útmutató
Csoportos relatív házirend optimalizálása
Műszaki
Műszaki ÚTMUTATÓ
A másodrendű optimalizálás a görbületi információkat (a második derivált Hess-mátrixát) használja, hogy intelligensebb lépéseket tegyen a minimum felé, nem csak a meredekség felé.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It can converge in dramatically fewer iterations than plain gradient descent, but the cost of computing curvature makes it tricky to scale.
A gradiens süllyedés csak az aktuális pont lejtőjét ismeri, ezért fix vagy kézzel hangolt lépésméretet választ, és a legjobbat reméli. Newton módszere tovább megy: azt is megvizsgálja, hogyan változik a meredekség (a görbület), amelyet a Hess-féle, az összes második parciális derivált mátrixa rögzít. A frissítés megszorozza az inverz Hessianust a gradienssel, amely automatikusan átskálázza az egyes irányokat, és a helyi másodfokú közelítés minimumához közelít. Egy tökéletesen négyzet alakú tál esetében a Newton-módszer egyetlen lépésben éri el az alját. A fogás brutális: egy N paraméterrel rendelkező modellben N-szer N Hessian van, így ennek tárolása és invertálása nagyjából N-négyzetes memóriába és N-kockás számításba kerül. Milliárd-paraméteres hálózatoknál ez lehetetlen, ezért a szakemberek olcsóbb közelítéseket alkalmaznak.
Az L-BFGS logisztikus regressziót és más konvex modelleket illeszt a scikit-learnben, ahol gyakran veri a sima gradiens süllyedést kis és közepes adatkészleteken
Kötegbeállítás a 3D rekonstrukcióban és a SLAM-ben, ahol Gauss-Newton és Levenberg-Marquardt finomítják a kamera pózait és pontpozícióit
Apró fizika-informált neurális hálózatok betanítása, ahol az L-BFGS olyan pontosságot ér el, amelyet Adam nehezen ér el
A sampon és a K-FAC felgyorsítja a nagyszabású mély tanulási képzést a Hessian szerkezetének közelítésével
Óriási neurális hálózatok esetében a teljes másodrendű módszerek továbbra is kivitelezhetetlenek, de a közelítések egyre nagyobb teret hódítanak. Az olyan optimalizálók, mint a K-FAC és a Shampoo, blokkátlós vagy Kronecker-faktoros szerkezettel közelítik meg a görbületet, az újabb módszerek, mint például a Sophia és a Muon pedig olcsó görbületi becsléseket használnak a nagy nyelvi modellek előképzésének felgyorsítására. Folyamatos erőfeszítésekre számíthat a hasznos görbületi jelek közel elsőrendű költséggel történő rögzítésére, csökkentve az Adam és a valódi Newton-lépések közötti különbséget.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A másodrendű optimalizálás a görbületi információkat (a második derivált Hess-mátrixát) használja, hogy intelligensebb lépéseket tegyen a minimum felé, nem csak a meredekség felé. Drámaian kevesebb iterációban tud konvergálni, mint a sima gradiens süllyedés, de a görbület kiszámításának költsége bonyolulttá teszi a méretezést.
Newton módszere a gradienst a Hess-i görbülettel növeli, lehetővé téve, hogy átskálázza az irányokat és közelítse a helyi négyzetes minimumot.
Egy pontos másodfokúnál a helyi másodfokú modell megegyezik a valódi függvénnyel, így egy Newton-lépés egyenesen a minimumra ugrik.
N paraméterrel a Hessian N-négyzetes bejegyzésekkel rendelkezik, és invertálása N-kockaszerűen skálázódik, ami több milliárd paraméternél kivitelezhetetlen.
A BFGS iteratív módon frissíti az inverz Hess-féle becslést a lépések közötti gradiens változásaival, elkerülve a közvetlen számítást.
Az „L” a korlátozott memóriát jelenti: az L-BFGS csak egy maroknyi új vektort őriz, így a tárhelyet az N-négyzetből az N nagyjából egy kis többszörösére csökkenti.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Csoportos relatív házirend optimalizálása
Műszaki