Zbytkové sítě
Residual Networks (ResNets) jsou hluboké neuronové sítě, které přidávají „přeskočit spojení“ a umožňují vrstvám učit se malé úpravy namísto úplných transformací.
Přehled
This simple trick made it possible to train networks hundreds of layers deep, sparking a leap in image recognition accuracy.
Hluboký ponor
Před ResNets, vrstvení mnoha vrstev paradoxně způsobilo, že sítě fungovaly hůře, a to i na trénovacích datech, což je problém zvaný degradace. V roce 2015 výzkumníci Microsoft Kaiming He a kolegové představili zbytkový blok: místo toho, aby hromadu vrstev přímo požádali o vytvoření výstupu H(x), nechali jej naučit se reziduální F(x) = H(x) - x a poté pomocí zkratky přidali původní vstup x zpět. Pokud vrstva není potřeba, může se jednoduše naučit nic nedělat (F(x) = 0). ResNet-152 vyhrál v roce 2015 soutěž ImageNet s chybou top-5 asi 3,6 procenta, čímž překonal odhady na lidské úrovni, a jeho architektura se stala základní páteří pro detekci, segmentaci a lékařské zobrazování.
Technický přehled
Spojení přeskočení změní úlohu každého bloku na y = F(x) + x. Během zpětného šíření gradient prochází zkratkou identity nezměněn, takže nemůže zmizet téměř k nule ani ve stovkách vrstev. To udržuje hluboké stacky trénovatelné. Zkratky identity nepřidávají žádné další parametry; pouze když se vstupní a výstupní velikosti liší, malá projekce (1x1 konvoluce) upraví rozměry před přidáním.
Strategický dopad
Rychlost a měřítko
Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
Volby sestavy
Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
Tým a pracovní postup
Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.
Budoucnost zbytkových sítí
Zbytková připojení jsou nyní téměř univerzální: Transformátory, difúzní modely a velké jazykové modely je všechny používají ke stabilizaci tréninku velmi hlubokých zásobníků. Pokračuje výzkum variant, jako jsou předaktivační ResNets, seskupené cesty ResNeXtu a kombinování zbytkových nápadů s tréninkem bez normalizace. Očekávejte, že základní princip skip-connection přetrvá jako výchozí stavební blok, i když se okolní architektury posunou od čistých konvolucí směrem k pozornosti a hybridním návrhům.
Real-World Implementace
Páteře klasifikace ImageNet (ResNet-50, ResNet-101) používané jako předtrénované extraktory funkcí pro přenos učení
Detekce nádorů a lézí v radiologických a patologických snímcích pomocí kodérů na bázi ResNet
Rámce detekce objektů a segmentace instancí jako Faster R-CNN a Mask R-CNN, které používají páteřní sítě ResNet
Samořídící kanály vnímání, které klasifikují chodce, vozidla a značky z rámů kamer
Rizika a zábradlí
Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.
Plán implementace
Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
Testujte s daty, která odpovídají reálným výrobním podmínkám.
Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Funkce Pyramid Networks
Často kladené otázky
What is Residual Networks?
Residual Networks (ResNets) jsou hluboké neuronové sítě, které přidávají „přeskočit spojení“ a umožňují vrstvám učit se malé úpravy namísto úplných transformací. Tento jednoduchý trik umožnil trénovat sítě stovky vrstev hluboko, což vyvolalo skok v přesnosti rozpoznávání obrazu.
Jaký problém konkrétně řešily zbytkové spoje?
Před ResNets způsobovalo přidávání dalších vrstev snížení přesnosti dokonce i u tréninkových dat. Přeskočení připojení to vyřešilo tím, že vrstvy se snadno optimalizovaly.
Co vlastně zbytkový blok vypočítá jako svůj výstup?
Reziduální blok vydává y = F(x) + x, přičemž naučený reziduální signál přičítá na vstup přes skip připojení.
Proč přeskakovaná spojení napomáhají sklonům během tréninku?
Zkratka identity poskytuje přímou cestu pro přechody zpět beze změny, což zabraňuje problému mizejícího gradientu ve velmi hlubokých hromadách.
Kolik vrstev zhruba měl vítězný model ResNet z roku 2015?
ResNet-152 se 152 vrstvami vyhrál v roce 2015 soutěž ImageNet a ukázal, že velmi hluboké sítě lze nyní úspěšně trénovat.
Pokud se vrstvy zbytkového bloku naučí F(x) = 0, co blok dělá?
Když F(x) = 0, výstupem je právě x, takže blok se stane mapováním identity. Díky tomu jsou další vrstvy neškodné, pokud nejsou potřeba.