Alapok ÚTMUTATÓ

Lemorzsolódás és sztochasztikus rendszerezés

A Dropout egy szabályosító trükk, amely véletlenszerűen kikapcsolja a neuronok egy részét minden egyes képzési lépés során, és arra kényszeríti a hálózatot, hogy redundáns, robusztus reprezentációkat építsen fel.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A lemorzsolódás és a sztochasztikus rendszeresítés jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez lett az egyik legbefolyásosabb technikája a mély tanulásban a túlzott illeszkedés elleni küzdelemnek.

Mély merülés

A Hinton csoportja által 2012 körül bevezetett lemorzsolódás a nagy hálózatok egyik kulcsfontosságú gyengeségét hivatott orvosolni: a neuronok együtt tudnak alkalmazkodni, megtanulva kijavítani egymás hibáit olyan módszerekkel, amelyek csak a betanítási adatokon működnek. A tréning során minden előrelépésnél a kiesés véletlenszerűen nullára állítja az egyes neuronok kimenetét bizonyos p valószínűséggel (sűrű rétegekben gyakran 0,5). Mivel bármely neuron eltűnhet, a hálózat nem támaszkodhat törékeny partnerségekre, és hasznos információkat kell terjesztenie számos egység között. Ez úgy működik, mint egy hatalmas, vékonyodott hálózatok együttesét, amelyek súlya megoszlik. Tesztidőben a lemorzsolódást kikapcsolják, és a teljes hálózatot használják, az aktiválásokat úgy skálázzák, hogy a várható kimenet megfeleljen a képzésnek. Az eredmény általában jobb általánosítás valamivel hosszabb edzés árán.

Valós megvalósítás

0,5 körüli p értékkel rendelkező Dropout réteg hozzáadása egy kép- vagy szövegosztályozó sűrű rétegei közé PyTorchban vagy Kerasban

Transzformátormodellek, amelyek kimaradást alkalmaznak a figyelemsúlyozásra és az előedzés során történő előrecsatolásra

Monte Carlo lemorzsolódása, ahol a lemorzsolódás továbbra is a következtetés hatására bizonytalansági becsléseket készít az orvosi vagy biztonsági szempontból kritikus előrejelzésekhez

Sztochasztikus mélység (DropPath) véletlenszerűen kihagyja a maradék blokkokat, hogy rendszeresítse a nagyon mély hálózatokat, például a ResNeteket és a látástranszformátorokat

A lemorzsolódás és a sztochasztikus rendszeresítés jövője

A konvolúciós látáshálózatokban a kötegelt normalizálás nagymértékben kiszorította a szabványos lemorzsolódást, de a változatok máshol is virágoznak: a transzformátorok kihagyást alkalmaznak a figyelem és az előrecsatolt rétegekre, a DropPath (sztochasztikus mélység) pedig egész maradék blokkokat dob ​​el. A Monte Carlo lemorzsolódás, amely a lemorzsolódást aktívan tartja a következtetésnél, a modell bizonytalanságának becslésére szolgál. Várható, hogy a sztochasztikus szabályzás rugalmas eszköztár maradjon, amely architektúránként adaptálódik, nem pedig egyetlen rögzített recept.

A gyakorlatba ültetés

Miért számít

  • Tisztább döntések. Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől.
  • Költség és költségvetés. Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene.
  • Csapat és munkafolyamat. A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban.

Vigyázz

  • A különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört.
  • A benchmarkok erősnek tűnhetnek, miközben a valós teljesítmény egyenetlen.
  • Az adatminőségi és értékelési tervek figyelmen kívül hagyása gyakran törékeny eredményekhez vezet.

Következő lépések

  1. Kezdje a kívánt eredmény egyszerű nyelvű meghatározásával.
  2. A tesztelés előtt válasszon egy sikermutatót és egy hibafeltételt.
  3. Futtasson egy kis pilotot reprezentatív adatokkal, ne egy csiszolt demókészlettel.
  4. Dokumentálja, hol segít a lemorzsolódás és a sztochasztikus szabályzás, és hol jobbak az egyszerűbb módszerek.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Dropout and Stochastic Regularization quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a lemorzsolódás és a sztochasztikus szabályosítás?

A Dropout egy szabályosító trükk, amely véletlenszerűen kikapcsolja a neuronok egy részét minden egyes képzési lépés során, és arra kényszeríti a hálózatot, hogy redundáns, robusztus reprezentációkat építsen fel. Az egyik legbefolyásosabb technikává vált a mély tanulásban a túlzott illeszkedés elleni küzdelemben.

Mit csinál a lemorzsolódás edzés közben?

A lemorzsolódás véletlenszerűen nullázza az egyes neuronokat p valószínűséggel a képzés során, így minden lépésben más vékonyabb alhálózatot használnak.

Miért javítja a lemorzsolódás az általánosítást?

Az egységek véletlenszerű eltávolításával a lemorzsolódás megakadályozza, hogy a neuronok törékeny partnerkapcsolatokat alakítsanak ki, amelyek csak a betanítási adatokon dolgoznak, javítva ezzel a robusztusságot.

Mi történik a lemorzsolódással a teszt (következtetés) időpontjában?

Következtetésképpen a teljes hálózat letiltott lemorzsolódás mellett fut, és az aktiválások úgy méreteződnek, hogy a várható kimenetek megfeleljenek a betanítási eloszlásnak.

A p = 0,5 lemorzsolódás egy rétegben nagyjából mit jelent az edzés során?

Ha p = 0,5, minden neuronnak 50 százalék az esélye, hogy nullázódik, tehát átlagosan körülbelül a fele esik le előre passzról.

Mit neveznek gyakran közelítőnek a lemorzsolódásról?

Különböző alhálózatok mintavétele minden lépésben exponenciális számú megosztott súlyú hálózat átlagát közelíti meg, ami az olcsó összeállítás egyik formája.