Lemorzsolódás és sztochasztikus rendszerezés
A Dropout egy szabályosító trükk, amely véletlenszerűen kikapcsolja a neuronok egy részét minden egyes képzési lépés során, és arra kényszeríti a hálózatot, hogy redundáns, robusztus reprezentációkat építsen fel.
Áttekintés
It became one of the most influential techniques for fighting overfitting in deep learning.
Mély merülés
A Hinton csoportja által 2012 körül bevezetett lemorzsolódás a nagy hálózatok egyik kulcsfontosságú gyengeségét hivatott orvosolni: a neuronok együtt tudnak alkalmazkodni, megtanulva kijavítani egymás hibáit olyan módszerekkel, amelyek csak a betanítási adatokon működnek. A tréning során minden előrelépésnél a kiesés véletlenszerűen nullára állítja az egyes neuronok kimenetét bizonyos p valószínűséggel (sűrű rétegekben gyakran 0,5). Mivel bármely neuron eltűnhet, a hálózat nem támaszkodhat törékeny partnerségekre, és hasznos információkat kell terjesztenie számos egység között. Ez úgy működik, mint egy hatalmas, vékonyodott hálózatok együttesét, amelyek súlya megoszlik. Tesztidőben a lemorzsolódást kikapcsolják, és a teljes hálózatot használják, az aktiválásokat úgy skálázzák, hogy a várható kimenet megfeleljen a képzésnek. Az eredmény általában jobb általánosítás valamivel hosszabb edzés árán.
Technikai betekintés
A betanítás során minden egységet valószínűséggel (1 mínusz p) tartunk egy véletlenszerű bináris maszkon keresztül, így minden kötegben más-más alhálózatból kerül mintavételre. A modern keretrendszerek fordított kiesést használnak: a túlélő aktiválásokat a vonatidőben elosztják (1 mínusz p), így nincs szükség skálázásra a következtetéshez. Ez a véletlenszerűség olyan zajt fecskendez be, amely elriasztja a koadaptációt, és közelíti az átlagolást exponenciális számú megosztott súlyú alhálózaton, ami az összeállítás olcsó formája.
Stratégiai hatás
Tisztább döntések
Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől.
Költség és költségvetés
Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene.
Csapat és munkafolyamat
A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban.
A lemorzsolódás és a sztochasztikus rendszeresítés jövője
A konvolúciós látáshálózatokban a kötegelt normalizálás nagymértékben kiszorította a szabványos lemorzsolódást, de a változatok máshol is virágoznak: a transzformátorok kihagyást alkalmaznak a figyelem és az előrecsatolt rétegekre, a DropPath (sztochasztikus mélység) pedig egész maradék blokkokat dob el. A Monte Carlo lemorzsolódás, amely a lemorzsolódást aktívan tartja a következtetésnél, a modell bizonytalanságának becslésére szolgál. Várható, hogy a sztochasztikus szabályzás rugalmas eszköztár maradjon, amely architektúránként adaptálódik, nem pedig egyetlen rögzített recept.
Valós megvalósítás
0,5 körüli p értékkel rendelkező Dropout réteg hozzáadása egy kép- vagy szövegosztályozó sűrű rétegei közé PyTorchban vagy Kerasban
Transzformátormodellek, amelyek kimaradást alkalmaznak a figyelemsúlyozásra és az előedzés során történő előrecsatolásra
Monte Carlo lemorzsolódása, ahol a lemorzsolódás továbbra is a következtetés hatására bizonytalansági becsléseket készít az orvosi vagy biztonsági szempontból kritikus előrejelzésekhez
Sztochasztikus mélység (DropPath) véletlenszerűen kihagyja a maradék blokkokat, hogy rendszeresítse a nagyon mély hálózatokat, például a ResNeteket és a látástranszformátorokat
Kockázatok és védőkorlátok
A különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört.
A benchmarkok erősnek tűnhetnek, miközben a valós teljesítmény egyenetlen.
Az adatminőségi és értékelési tervek figyelmen kívül hagyása gyakran törékeny eredményekhez vezet.
Végrehajtási ütemterv
Kezdje a kívánt eredmény egyszerű nyelvű meghatározásával.
A tesztelés előtt válasszon egy sikermutatót és egy hibafeltételt.
Futtasson egy kis pilotot reprezentatív adatokkal, ne egy csiszolt demókészlettel.
Dokumentálja, hol segít a lemorzsolódás és a sztochasztikus szabályzás, és hol jobbak az egyszerűbb módszerek.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dropout and Stochastic Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Sztochasztikus gradiens süllyedés lendülettel
Gyakran ismételt kérdések
What is Dropout and Stochastic Regularization?
A Dropout egy szabályosító trükk, amely véletlenszerűen kikapcsolja a neuronok egy részét minden egyes képzési lépés során, és arra kényszeríti a hálózatot, hogy redundáns, robusztus reprezentációkat építsen fel. Az egyik legbefolyásosabb technikává vált a mély tanulásban a túlzott illeszkedés elleni küzdelemben.
Mit csinál a lemorzsolódás edzés közben?
A lemorzsolódás véletlenszerűen nullázza az egyes neuronokat p valószínűséggel a képzés során, így minden lépésben más vékonyabb alhálózatot használnak.
Miért javítja a lemorzsolódás az általánosítást?
Az egységek véletlenszerű eltávolításával a lemorzsolódás megakadályozza, hogy a neuronok törékeny partnerkapcsolatokat alakítsanak ki, amelyek csak a betanítási adatokon dolgoznak, javítva ezzel a robusztusságot.
Mi történik a lemorzsolódással a teszt (következtetés) időpontjában?
Következtetésképpen a teljes hálózat letiltott lemorzsolódás mellett fut, és az aktiválások úgy méreteződnek, hogy a várható kimenetek megfeleljenek a betanítási eloszlásnak.
A p = 0,5 lemorzsolódás egy rétegben nagyjából mit jelent az edzés során?
Ha p = 0,5, minden neuronnak 50 százalék az esélye, hogy nullázódik, tehát átlagosan körülbelül a fele esik le előre passzról.
Mit neveznek gyakran közelítőnek a lemorzsolódásról?
Különböző alhálózatok mintavétele minden lépésben exponenciális számú megosztott súlyú hálózat átlagát közelíti meg, ami az olcsó összeállítás egyik formája.