Maradék hálózatok
A maradék hálózatok (ResNets) mély neurális hálózatok, amelyek „kapcsolatok kihagyását” adják meg, lehetővé téve a rétegek számára, hogy a teljes átalakítások helyett kis módosításokat tanuljanak meg.
Áttekintés
This simple trick made it possible to train networks hundreds of layers deep, sparking a leap in image recognition accuracy.
Mély merülés
A ResNets előtt a sok réteg egymásra halmozása paradox módon rontotta a hálózatok teljesítményét még a betanítási adatokon is, ezt a problémát leromlásnak nevezik. 2015-ben Microsoft kutató, Kaiming He és munkatársai bevezették a maradék blokkot: ahelyett, hogy egy köteg réteget kértek volna meg közvetlenül H(x) kimenet létrehozásához, hagyták, hogy megtanulja az F(x) = H(x) - x maradékot, majd egy parancsikon segítségével visszaadták az eredeti x bemenetet. Ha egy rétegre nincs szükség, egyszerűen megtanulhatja, hogy ne csináljon semmit (F(x) = 0). A ResNet-152 megnyerte a 2015-ös ImageNet versenyt, mintegy 3,6 százalékos top-5 hibával, felülmúlva az emberi szintű becsléseket, és architektúrája a detektálás, a szegmentálás és az orvosi képalkotás alapvető gerincévé vált.
Technikai betekintés
A kihagyási kapcsolat minden egyes blokk feladatát y = F(x) + x-re változtatja. A visszaterjesztés során a színátmenet változatlanul áthalad az identitás-parancsikonon, így nem tűnhet el nulla közelébe még több száz rétegben sem. Ez a mély veremeket képezhetővé teszi. Az azonosító parancsikonok nem adnak hozzá extra paramétereket; csak ha a bemeneti és kimeneti méretek különböznek, egy kis vetítés (1x1 konvolúció) módosítja a méreteket az összeadás előtt.
Stratégiai hatás
Sebesség és méretarány
A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
Építési lehetőségek
A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
Csapat és munkafolyamat
A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.
A maradék hálózatok jövője
A maradék kapcsolatok ma már szinte univerzálisak: a transzformátorok, a diffúziós modellek és a nagy nyelvi modellek mind arra használják őket, hogy stabilizálják a nagyon mély halmok képzését. Folytatódik a kutatás az olyan változatokon, mint az aktiválás előtti ResNets, a ResNeXt csoportosított útvonalai, valamint a maradék ötletek és a normalizálás nélküli képzés kombinálása. Számítson rá, hogy az alapvető átugrásos kapcsolódási elv továbbra is megmarad alapértelmezett építőelemként, még akkor is, ha a környező architektúrák a tiszta konvolúcióktól a figyelem és a hibrid kialakítások felé tolódnak el.
Valós megvalósítás
Az ImageNet osztályozási gerinchálózatok (ResNet-50, ResNet-101) előképzett szolgáltatás-kivonóként használják az átviteli tanuláshoz
Daganatok és elváltozások kimutatása radiológiai és patológiai képeken ResNet-alapú kódolókkal
Objektumészlelési és példányszegmentációs keretrendszerek, például a Faster R-CNN és a Mask R-CNN, amelyek ResNet gerinchálózatot használnak
Önvezető észlelési vezetékek, amelyek osztályozzák a gyalogosokat, járműveket és táblákat a kamerakeretekből
Kockázatok és védőkorlátok
A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.
Végrehajtási ütemterv
Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Piramishálózatok szolgáltatás
Gyakran ismételt kérdések
What is Residual Networks?
A maradék hálózatok (ResNets) mély neurális hálózatok, amelyek „kapcsolatok kihagyását” adják meg, lehetővé téve a rétegek számára, hogy a teljes átalakítások helyett kis módosításokat tanuljanak meg. Ez az egyszerű trükk lehetővé tette több száz réteg mélységű hálózatok betanítását, ami ugrást eredményezett a képfelismerés pontosságában.
Milyen problémát oldottak meg konkrétan a maradék kapcsolatok?
A ResNets előtt több réteg hozzáadása még a tanítási adatok pontosságát is csökkentette. A kapcsolatok kihagyása javította ezt azáltal, hogy a rétegeket egyszerűen optimalizálták.
Mit számít valójában egy maradék blokk kimeneteként?
Egy maradék blokk y = F(x) + x kimenetet ad, és a betanult reziduumot egy átugrási kapcsolaton keresztül hozzáadja a bemenethez.
Miért segítik a kihagyott kapcsolatok a gradienseket edzés közben?
Az identitás-parancsikon közvetlen útvonalat biztosít a színátmenetek számára, hogy változatlanul visszafelé áramoljanak, megakadályozva az eltűnő gradiens problémát nagyon mély veremekben.
Körülbelül hány rétegből állt a 2015-ös nyertes ResNet modell?
A 152 rétegű ResNet-152 megnyerte a 2015-ös ImageNet versenyt, bizonyítva, hogy a nagyon mély hálózatokat már sikeresen lehet képezni.
Ha egy maradék blokk rétegei megtanulják, hogy F(x) = 0, mit csinál a blokk?
Ha F(x) = 0, a kimenet csak x, így a blokk azonosságleképezéssé válik. Ez ártalmatlanná teszi az extra rétegeket, ha nincs rájuk szükség.