Resterende netwerken
Residuele netwerken (ResNets) zijn diepe neurale netwerken die ‘skip-verbindingen’ toevoegen, waardoor lagen kleine aanpassingen kunnen leren in plaats van volledige transformaties.
Overzicht
This simple trick made it possible to train networks hundreds of layers deep, sparking a leap in image recognition accuracy.
Diepe duik
Vóór ResNets zorgde het stapelen van vele lagen er paradoxaal genoeg voor dat netwerken slechter presteerden, zelfs op het gebied van trainingsgegevens, een probleem dat degradatie wordt genoemd. In 2015 introduceerden Microsoft onderzoekers Kaiming He en collega's het restblok: in plaats van een stapel lagen te vragen om rechtstreeks een uitvoer H(x) te produceren, lieten ze deze een rest F(x) = H(x) - x leren, en voegden vervolgens de oorspronkelijke invoer x toe via een snelkoppeling. Als een laag niet nodig is, kan deze eenvoudigweg leren niets te doen (F(x) = 0). ResNet-152 won de ImageNet-wedstrijd van 2015 met een top-5-fout van ongeveer 3,6 procent, waarmee de schattingen op menselijk niveau werden overtroffen, en de architectuur ervan werd een fundamentele ruggengraat voor detectie, segmentatie en medische beeldvorming.
Technisch inzicht
De skip-verbinding verandert de taak van elk blok in y = F(x) + x. Tijdens backpropagation stroomt de gradiënt onveranderd door de identiteitssnelkoppeling, zodat deze zelfs over honderden lagen niet tot bijna nul kan verdwijnen. Dit houdt deep-stacks trainbaar. Identiteitssnelkoppelingen voegen geen extra parameters toe; alleen als de invoer- en uitvoergroottes verschillen, past een kleine projectie (1x1 convolutie) de afmetingen aan vóór de toevoeging.
Strategische impact
Speed and scale
Visuele AI kan inspectie-, detectie- en taggingtaken op schaal automatiseren.
Build choices
Creatieve teams kunnen concepten sneller prototypen met minder handmatige revisies.
Team and workflow
Bij bewerkingen kan gebruik worden gemaakt van beeld- en videosignalen die voorheen moeilijk te verwerken waren.
De toekomst van restnetwerken
Resterende verbindingen zijn nu vrijwel universeel: Transformers, diffusiemodellen en grote taalmodellen gebruiken ze allemaal om de training van zeer diepe stapels te stabiliseren. Er wordt onderzoek gedaan naar varianten zoals pre-activatie ResNets, de gegroepeerde paden van ResNeXt en het combineren van resterende ideeën met normalisatievrije training. Verwacht dat het kernprincipe van skip-connectie zal blijven bestaan als standaardbouwsteen, zelfs als de omringende architecturen verschuiven van pure convoluties naar aandacht en hybride ontwerpen.
Implementatie in de echte wereld
ImageNet-classificatie-backbones (ResNet-50, ResNet-101) gebruikt als vooraf getrainde functie-extractors voor overdrachtsleren
Tumor- en laesiedetectie in radiologie- en pathologiebeelden met behulp van op ResNet gebaseerde encoders
Kaders voor objectdetectie en instancesegmentatie, zoals Faster R-CNN en Mask R-CNN die ResNet-backbones gebruiken
Zelfrijdende perceptiepijplijnen die voetgangers, voertuigen en borden classificeren vanaf cameraframes
Risico's en vangrails
Beeldrechten en toestemming kunnen juridische risico's worden als de herkomst onduidelijk is.
De prestaties van modellen kunnen variëren afhankelijk van de belichting, demografische gegevens en omgevingen.
Valse positieve resultaten kunnen onopgemerkt blijven, tenzij de vertrouwensdrempels worden gecontroleerd.
Implementatie routekaart
Definieer acceptatiecriteria voor precisie-, terugroep- en foutkosten.
Test met gegevens die overeenkomen met echte productieomstandigheden.
Voeg menselijke beoordeling toe voor voorspellingen met weinig vertrouwen of hoge impact.
Volg modelafwijkingen en valideer opnieuw na wijzigingen in de camera of dataset.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Functie Piramidenetwerken
Frequently asked questions
What is Residual Networks?
Residuele netwerken (ResNets) zijn diepe neurale netwerken die ‘skip-verbindingen’ toevoegen, waardoor lagen kleine aanpassingen kunnen leren in plaats van volledige transformaties. Deze eenvoudige truc maakte het mogelijk om netwerken honderden lagen diep te trainen, wat een sprong in de nauwkeurigheid van de beeldherkenning tot gevolg had.
Welk probleem hebben restverbindingen specifiek opgelost?
Vóór ResNets zorgde het toevoegen van meer lagen ervoor dat de nauwkeurigheid zelfs op trainingsgegevens achteruitging. Skip-verbindingen hebben dit opgelost door lagen eenvoudig te optimaliseren.
Wat berekent een restblok eigenlijk als output?
Een residublok geeft als uitvoer y = F(x) + x, waarbij het geleerde residu aan de invoer wordt toegevoegd via een skip-verbinding.
Waarom helpen skip-verbindingen hellingen tijdens de training?
De identiteitssnelkoppeling biedt een direct pad voor gradiënten om onveranderd naar achteren te stromen, waardoor het probleem van verdwijnende gradiënten in zeer diepe stapels wordt voorkomen.
Hoeveel lagen had het winnende ResNet-model uit 2015 ongeveer?
ResNet-152, met 152 lagen, won de ImageNet-wedstrijd van 2015, wat aantoont dat zeer diepe netwerken nu met succes kunnen worden getraind.
Als de lagen van een restblok leren dat F(x) = 0, wat doet het blok dan?
Wanneer F(x) = 0, is de uitvoer slechts x, dus het blok wordt een identiteitsafbeelding. Dit maakt extra lagen onschadelijk als ze niet nodig zijn.