Mai departeUrmătorul ghid
Coborâre cu gradient stocastic cu impuls
Fundamentele
GHID de fundamente
Abandonul și regularizarea stocastică
Abandonul este un truc de regularizare care oprește aleatoriu o fracțiune de neuroni în timpul fiecărei etape de antrenament, forțând rețeaua să construiască reprezentări redundante și robuste.
Ascultă acest ghidNarativ AI · ~2 min
Pe această pagină2 minute de lectură
Prezentare generală
A devenit una dintre cele mai influente tehnici de combatere a supraadaptarii în deep learning.
Scufundare în profunzime
Introdusă de grupul lui Hinton în jurul anului 2012, abandonul abordează o slăbiciune cheie a rețelelor mari: neuronii se pot co-adapta, învățând să repare greșelile reciproc în moduri care funcționează doar pe datele de antrenament. La fiecare trecere înainte în timpul antrenamentului, abandonul setează aleatoriu ieșirea fiecărui neuron la zero cu o anumită probabilitate p (adesea 0,5 în straturi dense). Deoarece orice neuron ar putea dispărea, rețeaua nu se poate baza pe parteneriate fragile și trebuie să răspândească informații utile în mai multe unități. Acest lucru acționează ca antrenamentul unui ansamblu imens de rețele subțiate care împart greutăți. În timpul testului, abandonul este dezactivat și se utilizează întreaga rețea, cu activări scalate astfel încât rezultatul așteptat să se potrivească antrenamentului. Rezultatul este de obicei o generalizare mai bună cu prețul unui antrenament puțin mai lung.
Implementare în lumea reală
Adăugarea unui strat Dropout cu p în jur de 0,5 între straturile dense ale unui clasificator de imagine sau text în PyTorch sau Keras
Modele de transformatoare care aplică o renunțare la greutăți de atenție și activări anticipate în timpul antrenamentului preliminar
Abandonul Monte Carlo, unde abandonul rămâne la inferență pentru a produce estimări de incertitudine pentru predicții medicale sau critice pentru siguranță
Adâncimea stocastică (DropPath) omite aleatoriu blocurile reziduale pentru a regulariza rețelele foarte adânci, cum ar fi ResNets și transformatoare de viziune
Viitorul abandonului școlar și al regularizării stocastice
În rețelele de viziune convoluțională, normalizarea loturilor a înlocuit în mare măsură abandonul standard, dar variantele prosperă în alte părți: transformatoarele aplică o abandonare asupra straturilor de atenție și feed-forward, iar DropPath (adâncimea stocastică) scade blocuri reziduale întregi. Abandonul Monte Carlo, care menține abandonul activ la inferență, este utilizat pentru a estima incertitudinea modelului. Așteptați-vă ca regularizarea stocastică să rămână un set de instrumente flexibil, adaptat pe arhitectură, mai degrabă decât o singură rețetă fixă.
Punând-o în practică
De ce contează
- Decizii mai clare. Vă ajută să separați afirmațiile tehnice clare de limbajul de marketing.
- Cost și buget. Puteți pune întrebări de implementare mai bune înainte de a cheltui bani sau timp.
- Echipa și fluxul de lucru. Echipele cu înțelegere comună iau decizii mai bune despre produse, politici și învățare.
Atenție la
- Echipe diferite pot folosi același termen în mod diferit, așa că definiți domeniul de aplicare din timp.
- Benchmark-urile pot părea puternice, în timp ce performanța în lumea reală este neuniformă.
- Ignorarea calității datelor și a planurilor de evaluare generează adesea rezultate fragile.
Următorii pași
- Începeți cu o definiție simplă a rezultatului de care aveți nevoie.
- Alegeți o măsură de succes și o condiție de eșec înainte de testare.
- Rulați un pilot mic cu date reprezentative, nu un set demonstrativ bine definit.
- Documentul în care abandonul și regularizarea stochastică ajută și unde metodele mai simple sunt mai bune.
Continuați să explorați
Buletin gratuit
Primește briefingul zilnic AI
Trei povești AI verificate în fiecare dimineață de zi lucrătoare, scrise în engleză simplă. Gratuit pentru totdeauna, fără reclame.
Un e-mail în fiecare zi lucrătoare. Dezabonare cu un singur clic. Nu vindem niciodată și nu împărtășim adresa ta.
Testează-te
Take the Dropout and Stochastic Regularization quiz
Feedback instantaneu la fiecare răspuns și un certificat partajabil cu un ID verificabil după ce parcurgi un curs.
Susține educația AI gratuită. AI Understanding este o organizație nonprofit 501(c)(3) — fără reclame, fără barieră de plată, pentru totdeauna. Fă o donație
Întrebări frecvente
Ce este abandonul și regularizarea stocastică?
Abandonul este un truc de regularizare care oprește aleatoriu o fracțiune de neuroni în timpul fiecărei etape de antrenament, forțând rețeaua să construiască reprezentări redundante și robuste. A devenit una dintre cele mai influente tehnici de combatere a supraadaptarii în învățarea profundă.
Ce face abandonul în timpul antrenamentului?
Abandonul pune la zero în mod aleatoriu fiecare neuron cu probabilitatea p în timpul antrenamentului, astfel încât la fiecare pas este utilizată o subrețea subțire diferită.
De ce abandonul îmbunătățește generalizarea?
Prin eliminarea aleatorie a unităților, abandonul îi împiedică pe neuroni să formeze parteneriate fragile care funcționează doar pe datele de antrenament, îmbunătățind robustețea.
Ce se întâmplă cu abandonul la momentul testării (inferenței)?
La deducere, întreaga rețea rulează cu abandonul dezactivat, iar activările sunt scalate astfel încât rezultatele așteptate să se potrivească cu distribuția de antrenament.
O rată de abandon de p = 0,5 într-un strat înseamnă aproximativ ce înseamnă în timpul antrenamentului?
Cu p = 0,5 fiecare neuron are o șansă de 50 la sută de a fi pus la zero, deci, în medie, aproximativ jumătate sunt aruncate pe trecere înainte.
Ce este adesea descris ca fiind aproximativ abandonul?
Eșantionarea unei subrețele diferite la fiecare pas aproximează media pe un număr exponențial de rețele cu greutate partajată, o formă de asamblare ieftină.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect