Restnettverk
Residual Networks (ResNets) er dype nevrale nettverk som legger til "hopp over forbindelser" slik at lag lærer små justeringer i stedet for fulle transformasjoner.
Oversikt
This simple trick made it possible to train networks hundreds of layers deep, sparking a leap in image recognition accuracy.
Dypdykk
Før ResNets gjorde stabling av mange lag paradoksalt nok nettverk til å prestere dårligere, selv på treningsdata, et problem som kalles degradering. I 2015 introduserte Microsoft-forskerne Kaiming He og kollegene restblokken: i stedet for å be en stabel med lag om å produsere en utgang H(x) direkte, lot de den lære en gjenværende F(x) = H(x) - x, og la deretter den opprinnelige inngangen x tilbake via en snarvei. Hvis et lag er unødvendig, kan det ganske enkelt lære å gjøre ingenting (F(x) = 0). ResNet-152 vant 2015 ImageNet-konkurransen med en topp-5 feil på omtrent 3,6 prosent, og slo estimater på menneskelig nivå, og arkitekturen ble en grunnleggende ryggrad for deteksjon, segmentering og medisinsk bildebehandling.
Teknisk innsikt
Hoppkoblingen gjør hver blokks jobb til y = F(x) + x. Under tilbakeforplantning flyter gradienten gjennom identitetssnarveien uendret, så den kan ikke forsvinne til nær null selv over hundrevis av lag. Dette holder dype stabler trenbare. Identitetssnarveier legger ingen ekstra parametere; bare når inngangs- og utdatastørrelsene er forskjellige, justerer en liten projeksjon (1x1 konvolusjon) dimensjonene før tillegget.
Strategisk innvirkning
Speed and scale
Visual AI kan automatisere inspeksjons-, deteksjons- og merkeoppgaver i stor skala.
Build choices
Kreative team kan prototype konsepter raskere med færre manuelle revisjoner.
Team and workflow
Operasjoner kan bruke bilde- og videosignaler som tidligere var vanskelige å behandle.
Fremtiden til gjenværende nettverk
Restforbindelser er nå nesten universelle: Transformatorer, diffusjonsmodeller og store språkmodeller bruker dem alle til å stabilisere trening av veldig dype stabler. Forskningen fortsetter på varianter som ResNets før aktivering, ResNeXts grupperte baner og kombinasjon av gjenværende ideer med normaliseringsfri trening. Forvent at kjerneprinsippet for skip-tilkobling vil vedvare som en standard byggestein, selv når de omkringliggende arkitekturene skifter bort fra rene viklinger mot oppmerksomhet og hybriddesign.
Real-World Implementering
ImageNet-klassifiseringsryggrad (ResNet-50, ResNet-101) brukt som forhåndstrente funksjonsuttrekkere for overføringslæring
Svulst- og lesjonsdeteksjon i radiologi- og patologibilder ved bruk av ResNet-baserte kodere
Objektgjenkjenning og instanssegmenteringsrammeverk som Faster R-CNN og Mask R-CNN som bruker ResNet-ryggrad
Selvkjørende persepsjonsrørledninger som klassifiserer fotgjengere, kjøretøy og skilt fra kamerarammer
Risikoer og rekkverk
Bilderettigheter og samtykke kan bli juridiske risikoer hvis herkomst er uklart.
Modellytelsen kan variere på tvers av belysning, demografi og miljøer.
Falske positive kan forbli ubemerket med mindre konfidensgrenser overvåkes.
Veikart for implementering
Definer akseptkriterier for presisjons-, tilbakekallings- og feilkostnader.
Test med data som samsvarer med reelle produksjonsforhold.
Legg til menneskelig vurdering for spådommer med lav selvtillit eller stor innvirkning.
Spor modelldrift og revalider etter endringer i kamera eller datasett.
Fortsett å utforske
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Neste guide
Funksjonspyramidenettverk
Ofte stilte spørsmål
What is Residual Networks?
Residual Networks (ResNets) er dype nevrale nettverk som legger til "hopp over forbindelser" slik at lag lærer små justeringer i stedet for fulle transformasjoner. Dette enkle trikset gjorde det mulig å trene nettverk hundrevis av lag dypt, og utløste et sprang i bildegjenkjenningsnøyaktighet.
Hvilket problem løste restforbindelser spesifikt?
Før ResNets førte til at flere lag ble lagt til, at nøyaktigheten ble redusert selv på treningsdata. Hopp over tilkoblinger fikset dette ved å gjøre lag enkle å optimalisere.
Hva beregner egentlig en restblokk som sin utgang?
En restblokk gir ut y = F(x) + x, og legger den innlærte residual til inngangen via en hoppforbindelse.
Hvorfor hjelper det å hoppe over forbindelser med gradienter under trening?
Identitetssnarveien gir en direkte vei for gradienter til å flyte bakover uendret, og forhindrer forsvinningsgradientproblemet i veldig dype stabler.
Omtrent hvor mange lag hadde den vinnende ResNet-modellen fra 2015?
ResNet-152, med 152 lag, vant 2015 ImageNet-konkurransen, og demonstrerte at veldig dype nettverk nå kunne trenes med suksess.
Hvis lagene til en restblokk lærer F(x) = 0, hva gjør blokken?
Når F(x) = 0, er utgangen bare x, så blokken blir en identitetskartlegging. Dette gjør ekstra lag ufarlige hvis de ikke er nødvendige.