VolgendeVolgende gids
Groepsrelatieve beleidsoptimalisatie
Technisch
Technische GIDS
Optimalisatie van de tweede orde maakt gebruik van krommingsinformatie (de Hessische matrix van tweede afgeleiden) om slimmere stappen te zetten in de richting van een minimum, en niet alleen van de helling.
Luister naar deze gidsAI-verteld · ~2 min
Het kan in dramatisch minder iteraties convergeren dan bij gewone gradiëntdaling, maar de kosten van computerkromming maken het lastig om te schalen.
Gradiëntafdaling kent alleen de helling op uw huidige punt, dus kiest het een vaste of met de hand afgestemde stapgrootte en hoopt er het beste van. De methode van Newton gaat verder: er wordt ook gekeken naar hoe de helling verandert (de kromming), vastgelegd door de Hessiaan, een matrix van alle tweede partiële afgeleiden. De update vermenigvuldigt de inverse Hessiaan met de gradiënt, waardoor elke richting automatisch opnieuw wordt geschaald en in de buurt van het minimum van een lokale kwadratische benadering terechtkomt. Voor een perfect kwadratische kom bereikt de methode van Newton in één stap de bodem. De addertje onder het gras is wreed: een model met N-parameters heeft een N-bij-N Hessiaan, dus het opslaan en inverteren ervan kost grofweg N-kwadraat geheugen en N-kubieke rekenkracht. Voor netwerken met miljarden parameters is dat onmogelijk, en daarom gebruiken praktijkmensen goedkopere benaderingen.
L-BFGS passend bij logistieke regressie en andere convexe modellen in scikit-learn, waar het vaak beter is dan gewone gradiëntdaling op kleine tot middelgrote datasets
Bundelaanpassing bij 3D-reconstructie en SLAM, waarbij Gauss-Newton en Levenberg-Marquardt cameraposities en puntposities verfijnen
Het trainen van kleine op natuurkunde gebaseerde neurale netwerken waar L-BFGS precisie bereikt die Adam moeilijk kan bereiken
Shampoo en K-FAC versnellen grootschalige deep learning-training door de structuur van de Hessiaan te benaderen
Voor gigantische neurale netwerken blijven volledige tweede-ordemethoden onpraktisch, maar benaderingen winnen terrein. Optimizers zoals K-FAC en Shampoo benaderen de kromming met behulp van een blokdiagonale of Kronecker-factored structuur, en nieuwere methoden zoals Sophia en Muon gebruiken goedkope krommingsschattingen om de voortraining van grote taalmodellen te versnellen. Verwacht aanhoudende inspanningen om een nuttig krommingssignaal vast te leggen tegen kosten van bijna de eerste orde, waardoor de kloof tussen Adam- en echte Newton-stappen kleiner wordt.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Optimalisatie van de tweede orde maakt gebruik van krommingsinformatie (de Hessische matrix van tweede afgeleiden) om slimmere stappen te zetten in de richting van een minimum, en niet alleen van de helling. Het kan in dramatisch minder iteraties convergeren dan bij gewone gradiëntdaling, maar de kosten van computerkromming maken het lastig om te schalen.
De methode van Newton vergroot de gradiënt met de kromming van de Hessiaan, waardoor de richtingen opnieuw kunnen worden geschaald en het lokale kwadratische minimum kan worden benaderd.
Op een exact kwadratisch model is het lokale kwadratische model gelijk aan de ware functie, dus één Newton-stap springt rechtstreeks naar het minimum.
Met N-parameters heeft de Hessiaan N-kwadraatingangen en het omkeren ervan schaalt als N-kubus, wat onhaalbaar is bij miljarden parameters.
BFGS werkt iteratief een schatting van de inverse Hessiaan bij met behulp van veranderingen in de gradiënt tussen stappen, waardoor directe berekeningen worden vermeden.
De 'L' staat voor beperkt geheugen: L-BFGS bewaart slechts een handvol recente vectoren, waardoor de opslag wordt teruggebracht van N-kwadraat tot grofweg een klein veelvoud van N.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Groepsrelatieve beleidsoptimalisatie
Technisch