DalšíDalší průvodce
Stochastický gradientní sestup s hybností
Základy
PRŮVODCE Základy
Dropout je regularizační trik, který náhodně vypíná zlomek neuronů během každého tréninkového kroku, čímž nutí síť vytvářet redundantní, robustní reprezentace.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It became one of the most influential techniques for fighting overfitting in deep learning.
Odpad, který Hintonova skupina představila kolem roku 2012, řeší klíčovou slabinu velkých sítí: neurony se mohou společně přizpůsobovat a učit se navzájem opravovat chyby způsoby, které fungují pouze na trénovacích datech. Při každém průchodu vpřed během tréninku výpadek náhodně nastaví výstup každého neuronu na nulu s určitou pravděpodobností p (často 0,5 v hustých vrstvách). Protože jakýkoli neuron může zmizet, síť se nemůže opřít o křehká partnerství a musí šířit užitečné informace napříč mnoha jednotkami. Funguje to jako trénink obrovského souboru ztenčených sítí, které sdílejí váhy. V době testu se výpadek vypne a použije se celá síť s aktivacemi přizpůsobenými tak, aby očekávaný výstup odpovídal tréninku. Výsledkem je obvykle lepší zobecnění za cenu trochu delšího tréninku.
Přidání vrstvy Dropout s p kolem 0,5 mezi husté vrstvy obrázku nebo textového klasifikátoru v PyTorch nebo Keras
Transformátorové modely využívající výpadky na váhu pozornosti a aktivaci dopředného pohybu během předtréninku
Výpadek v Monte Carlo, kde přepadání zůstává zapnuté při odvození, aby se vytvořily odhady nejistoty pro lékařské nebo bezpečnostní předpovědi
Stochastická hloubka (DropPath) náhodně přeskakující zbytkové bloky za účelem regularizace velmi hlubokých sítí, jako jsou ResNety a transformátory vidění
V sítích s konvolučním viděním normalizace dávek do značné míry nahradila standardní výpadky, ale varianty prosperují jinde: transformátory aplikují výpadky na vrstvy pozornosti a dopředné dopředné komunikace a DropPath (stochastická hloubka) zahodí celé zbytkové bloky. K odhadu nejistoty modelu se používá Monte Carlo dropout, který udržuje výpadek aktivní při odvození. Očekávejte, že stochastická regularizace zůstane flexibilní sadou nástrojů přizpůsobených architektuře spíše než jediným pevným receptem.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Dropout je regularizační trik, který náhodně vypíná zlomek neuronů během každého tréninkového kroku, čímž nutí síť vytvářet redundantní, robustní reprezentace. Stala se jednou z nejvlivnějších technik pro boj s přehnanou výbavou v hlubokém učení.
Dropout náhodně vynuluje každý neuron s pravděpodobností p během tréninku, takže se v každém kroku použije jiná ztenčená podsíť.
Náhodným odebráním jednotek odpadnutí brání neuronům ve vytváření křehkých partnerství, která fungují pouze na trénovacích datech, čímž se zvyšuje odolnost.
Z toho vyplývá, že celá síť běží se zakázaným výpadkem a aktivace jsou škálovány tak, aby očekávané výstupy odpovídaly distribuci školení.
S p = 0,5 má každý neuron 50procentní šanci, že bude vynulován, takže v průměru zapadne asi polovina na jeden průchod dopředu.
Vzorkování jiné podsítě v každém kroku aproximuje zprůměrování přes exponenciální počet sítí se sdílenou váhou, což je forma levného seskupování.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Stochastický gradientní sestup s hybností
Základy