LegközelebbKövetkező útmutató
Sztochasztikus gradiens süllyedés lendülettel
Alapok
Alapok ÚTMUTATÓ
A Dropout egy szabályosító trükk, amely véletlenszerűen kikapcsolja a neuronok egy részét minden egyes képzési lépés során, és arra kényszeríti a hálózatot, hogy redundáns, robusztus reprezentációkat építsen fel.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez lett az egyik legbefolyásosabb technikája a mély tanulásban a túlzott illeszkedés elleni küzdelemnek.
A Hinton csoportja által 2012 körül bevezetett lemorzsolódás a nagy hálózatok egyik kulcsfontosságú gyengeségét hivatott orvosolni: a neuronok együtt tudnak alkalmazkodni, megtanulva kijavítani egymás hibáit olyan módszerekkel, amelyek csak a betanítási adatokon működnek. A tréning során minden előrelépésnél a kiesés véletlenszerűen nullára állítja az egyes neuronok kimenetét bizonyos p valószínűséggel (sűrű rétegekben gyakran 0,5). Mivel bármely neuron eltűnhet, a hálózat nem támaszkodhat törékeny partnerségekre, és hasznos információkat kell terjesztenie számos egység között. Ez úgy működik, mint egy hatalmas, vékonyodott hálózatok együttesét, amelyek súlya megoszlik. Tesztidőben a lemorzsolódást kikapcsolják, és a teljes hálózatot használják, az aktiválásokat úgy skálázzák, hogy a várható kimenet megfeleljen a képzésnek. Az eredmény általában jobb általánosítás valamivel hosszabb edzés árán.
0,5 körüli p értékkel rendelkező Dropout réteg hozzáadása egy kép- vagy szövegosztályozó sűrű rétegei közé PyTorchban vagy Kerasban
Transzformátormodellek, amelyek kimaradást alkalmaznak a figyelemsúlyozásra és az előedzés során történő előrecsatolásra
Monte Carlo lemorzsolódása, ahol a lemorzsolódás továbbra is a következtetés hatására bizonytalansági becsléseket készít az orvosi vagy biztonsági szempontból kritikus előrejelzésekhez
Sztochasztikus mélység (DropPath) véletlenszerűen kihagyja a maradék blokkokat, hogy rendszeresítse a nagyon mély hálózatokat, például a ResNeteket és a látástranszformátorokat
A konvolúciós látáshálózatokban a kötegelt normalizálás nagymértékben kiszorította a szabványos lemorzsolódást, de a változatok máshol is virágoznak: a transzformátorok kihagyást alkalmaznak a figyelem és az előrecsatolt rétegekre, a DropPath (sztochasztikus mélység) pedig egész maradék blokkokat dob el. A Monte Carlo lemorzsolódás, amely a lemorzsolódást aktívan tartja a következtetésnél, a modell bizonytalanságának becslésére szolgál. Várható, hogy a sztochasztikus szabályzás rugalmas eszköztár maradjon, amely architektúránként adaptálódik, nem pedig egyetlen rögzített recept.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Dropout egy szabályosító trükk, amely véletlenszerűen kikapcsolja a neuronok egy részét minden egyes képzési lépés során, és arra kényszeríti a hálózatot, hogy redundáns, robusztus reprezentációkat építsen fel. Az egyik legbefolyásosabb technikává vált a mély tanulásban a túlzott illeszkedés elleni küzdelemben.
A lemorzsolódás véletlenszerűen nullázza az egyes neuronokat p valószínűséggel a képzés során, így minden lépésben más vékonyabb alhálózatot használnak.
Az egységek véletlenszerű eltávolításával a lemorzsolódás megakadályozza, hogy a neuronok törékeny partnerkapcsolatokat alakítsanak ki, amelyek csak a betanítási adatokon dolgoznak, javítva ezzel a robusztusságot.
Következtetésképpen a teljes hálózat letiltott lemorzsolódás mellett fut, és az aktiválások úgy méreteződnek, hogy a várható kimenetek megfeleljenek a betanítási eloszlásnak.
Ha p = 0,5, minden neuronnak 50 százalék az esélye, hogy nullázódik, tehát átlagosan körülbelül a fele esik le előre passzról.
Különböző alhálózatok mintavétele minden lépésben exponenciális számú megosztott súlyú hálózat átlagát közelíti meg, ami az olcsó összeállítás egyik formája.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Sztochasztikus gradiens süllyedés lendülettel
Alapok