PRŮVODCE Základy

Dropout a Stochastická regularizace

Dropout je regularizační trik, který náhodně vypíná zlomek neuronů během každého tréninkového kroku, čímž nutí síť vytvářet redundantní, robustní reprezentace.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost dropoutu a stochastické regularizace
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

It became one of the most influential techniques for fighting overfitting in deep learning.

Hluboký ponor

Odpad, který Hintonova skupina představila kolem roku 2012, řeší klíčovou slabinu velkých sítí: neurony se mohou společně přizpůsobovat a učit se navzájem opravovat chyby způsoby, které fungují pouze na trénovacích datech. Při každém průchodu vpřed během tréninku výpadek náhodně nastaví výstup každého neuronu na nulu s určitou pravděpodobností p (často 0,5 v hustých vrstvách). Protože jakýkoli neuron může zmizet, síť se nemůže opřít o křehká partnerství a musí šířit užitečné informace napříč mnoha jednotkami. Funguje to jako trénink obrovského souboru ztenčených sítí, které sdílejí váhy. V době testu se výpadek vypne a použije se celá síť s aktivacemi přizpůsobenými tak, aby očekávaný výstup odpovídal tréninku. Výsledkem je obvykle lepší zobecnění za cenu trochu delšího tréninku.

Real-World Implementace

Přidání vrstvy Dropout s p kolem 0,5 mezi husté vrstvy obrázku nebo textového klasifikátoru v PyTorch nebo Keras

Transformátorové modely využívající výpadky na váhu pozornosti a aktivaci dopředného pohybu během předtréninku

Výpadek v Monte Carlo, kde přepadání zůstává zapnuté při odvození, aby se vytvořily odhady nejistoty pro lékařské nebo bezpečnostní předpovědi

Stochastická hloubka (DropPath) náhodně přeskakující zbytkové bloky za účelem regularizace velmi hlubokých sítí, jako jsou ResNety a transformátory vidění

Budoucnost dropoutu a stochastické regularizace

V sítích s konvolučním viděním normalizace dávek do značné míry nahradila standardní výpadky, ale varianty prosperují jinde: transformátory aplikují výpadky na vrstvy pozornosti a dopředné dopředné komunikace a DropPath (stochastická hloubka) zahodí celé zbytkové bloky. K odhadu nejistoty modelu se používá Monte Carlo dropout, který udržuje výpadek aktivní při odvození. Očekávejte, že stochastická regularizace zůstane flexibilní sadou nástrojů přizpůsobených architektuře spíše než jediným pevným receptem.

Uvedení do praxe

Proč na tom záleží

  • Jasnější rozhodnutí. Pomůže vám oddělit jasná technická tvrzení od marketingového jazyka.
  • Cena a rozpočet. Než utratíte peníze nebo čas, můžete se zeptat na lepší implementační otázky.
  • Tým a pracovní postup. Týmy se sdíleným porozuměním dělají lepší rozhodnutí o produktech, zásadách a učení.

Pozor na

  • Různé týmy mohou používat stejný termín odlišně, proto definujte rozsah včas.
  • Srovnávací testy mohou vypadat dobře, zatímco výkon v reálném světě je nerovnoměrný.
  • Ignorování kvality dat a plánů hodnocení často vytváří křehké výsledky.

Další kroky

  1. Začněte s jasnou definicí výsledku, který potřebujete.
  2. Před testováním vyberte jednu metriku úspěchu a jednu podmínku selhání.
  3. Spusťte malý pilotní projekt s reprezentativními údaji, nikoli leštěnou ukázkovou sadu.
  4. Dokumentujte, kde pomáhá vypouštění a stochastická regularizace a kde jsou jednodušší metody lepší.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Dropout and Stochastic Regularization quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

What is Dropout and Stochastic Regularization?

Dropout je regularizační trik, který náhodně vypíná zlomek neuronů během každého tréninkového kroku, čímž nutí síť vytvářet redundantní, robustní reprezentace. Stala se jednou z nejvlivnějších technik pro boj s přehnanou výbavou v hlubokém učení.

Co dělá výpadek během tréninku?

Dropout náhodně vynuluje každý neuron s pravděpodobností p během tréninku, takže se v každém kroku použije jiná ztenčená podsíť.

Proč odpadávání zlepšuje zobecnění?

Náhodným odebráním jednotek odpadnutí brání neuronům ve vytváření křehkých partnerství, která fungují pouze na trénovacích datech, čímž se zvyšuje odolnost.

Co se stane s odpadnutím v době testování (odvozování)?

Z toho vyplývá, že celá síť běží se zakázaným výpadkem a aktivace jsou škálovány tak, aby očekávané výstupy odpovídaly distribuci školení.

Míra odpadnutí p = 0,5 ve vrstvě znamená zhruba co během tréninku?

S p = 0,5 má každý neuron 50procentní šanci, že bude vynulován, takže v průměru zapadne asi polovina na jeden průchod dopředu.

Co je často označováno za aproximující?

Vzorkování jiné podsítě v každém kroku aproximuje zprůměrování přes exponenciální počet sítí se sdílenou váhou, což je forma levného seskupování.