Mai departeUrmătorul ghid
Coborâre în gradient
Fundamentele
GHID de fundamente
Coborâre cu gradient stocastic cu impuls
Momentum este o modificare a coborârii gradientului care acumulează o medie de rulare a gradienților din trecut, permițând optimizarea să ruleze mai repede prin văi și să atenueze oscilațiile.
Ascultă acest ghidNarativ AI · ~2 min
Pe această pagină2 minute de lectură
Prezentare generală
Este unul dintre cele mai utilizate trucuri de antrenament în deep learning.
Scufundare în profunzime
Coborârea gradientului stocastic simplu (SGD) actualizează parametrii pasând în direcția opusă gradientului mini-lot actual. În peisaje în formă de râpe lungi și înguste, aceasta trece în zig-zag de-a lungul pereților abrupți în timp ce se târăște de-a lungul podelei blânde. Momentum, popularizat de Polyak și mai târziu de Rumelhart și colegii, rezolvă acest lucru prin menținerea unui vector viteză: fiecare pas combină noul gradient cu o fracțiune (coeficientul de impuls, adesea 0,9) din viteza anterioară. Direcțiile de gradient consistente întăresc și accelerează, în timp ce componentele oscilante se anulează parțial. Analogia fizică este o minge grea care se rostogolește în jos: crește viteză în direcții constante și este mai puțin deviată de lovituri zgomotoase, oferind o convergență mai rapidă și mai lină decât vanilia SGD.
Implementare în lumea reală
Antrenarea rețelelor convoluționale profunde, cum ar fi ResNet, unde SGD cu impuls 0,9 este o rețetă standard.
Netezirea estimărilor de gradient zgomotos atunci când utilizați mini-loturi mici.
Evadarea platourilor locale de mică adâncime prin transportarea vitezei prin regiuni plate.
Servind drept termen de impuls în cadrul optimizatorilor adaptivi, cum ar fi variantele Adam și RMSprop.
Viitorul coborârii gradientului stocastic cu impuls
Momentul rămâne fundamental: optimizatorii adaptivi precum Adam și variantele sale încorporează o estimare a primului moment în stilul de impuls, iar SGD cu impuls este încă o linie de bază puternică, care adesea se generalizează mai bine decât metodele adaptive pe modelele de viziune mare. Cercetările continuă asupra programării impulsului, scăderii greutății decuplate și interacțiunii sale cu antrenamentul în loturi foarte mari. Așteptați-vă ca impulsul să rămână o componentă de bază, pe măsură ce optimizatorii evoluează pentru modele din ce în ce mai mari.
Punând-o în practică
De ce contează
- Decizii mai clare. Vă ajută să separați afirmațiile tehnice clare de limbajul de marketing.
- Cost și buget. Puteți pune întrebări de implementare mai bune înainte de a cheltui bani sau timp.
- Echipa și fluxul de lucru. Echipele cu înțelegere comună iau decizii mai bune despre produse, politici și învățare.
Atenție la
- Echipe diferite pot folosi același termen în mod diferit, așa că definiți domeniul de aplicare din timp.
- Benchmark-urile pot părea puternice, în timp ce performanța în lumea reală este neuniformă.
- Ignorarea calității datelor și a planurilor de evaluare generează adesea rezultate fragile.
Următorii pași
- Începeți cu o definiție simplă a rezultatului de care aveți nevoie.
- Alegeți o măsură de succes și o condiție de eșec înainte de testare.
- Rulați un pilot mic cu date reprezentative, nu un set demonstrativ bine definit.
- Document în care este de ajutor Stochastic Gradient Descent with Momentum și unde metodele mai simple sunt mai bune.
Continuați să explorați
Buletin gratuit
Primește briefingul zilnic AI
Trei povești AI verificate în fiecare dimineață de zi lucrătoare, scrise în engleză simplă. Gratuit pentru totdeauna, fără reclame.
Un e-mail în fiecare zi lucrătoare. Dezabonare cu un singur clic. Nu vindem niciodată și nu împărtășim adresa ta.
Testează-te
Take the Stochastic Gradient Descent with Momentum quiz
Feedback instantaneu la fiecare răspuns și un certificat partajabil cu un ID verificabil după ce parcurgi un curs.
Susține educația AI gratuită. AI Understanding este o organizație nonprofit 501(c)(3) — fără reclame, fără barieră de plată, pentru totdeauna. Fă o donație
Întrebări frecvente
Ce este Coborârea Gradient Stochastic cu Momentum?
Momentum este o modificare a coborârii gradientului care acumulează o medie de rulare a gradienților din trecut, permițând optimizarea să ruleze mai repede prin văi și să atenueze oscilațiile. Este unul dintre cele mai utilizate trucuri de antrenament în deep learning.
Ce acumulează termenul de impuls în timpul antrenamentului?
Momentum menține un vector de viteză care este o medie mobilă ponderată exponențial a gradienților recenti, netezind direcția de actualizare.
Într-o râpă lungă și îngustă, ce problemă suferă SGD simplu pe care impulsul ajută la rezolvarea?
Fără impuls, SGD oscilează pe direcțiile abrupte ale unei râpe. Momentul anulează aceste oscilații și accelerează de-a lungul fundului văii blând.
Care analogie fizică este folosită cel mai des pentru a descrie impulsul?
Momentum este asemănător cu o minge grea care crește viteză în direcții consistente și rezistă la devierea de la lovituri zgomotoase.
Aproximativ cât de mult amplifică impulsul pasul efectiv într-o direcție consistentă când beta = 0,9?
Factorul de amplificare este de aproximativ 1/(1 - beta) și 1/(1 - 0,9) = 10, astfel încât direcțiile consistente sunt accelerate de aproximativ zece ori.
Ce optimizator modern încorporează o estimare a primului moment în stilul de impuls?
Adam combină o estimare a gradienților pentru primul moment (medie) cu o estimare pentru al doilea moment (varianță) pentru scalarea adaptivă.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect