Restnetzwerke
Residual Networks (ResNets) sind tiefe neuronale Netzwerke, die „Skip-Verbindungen“ hinzufügen, sodass Schichten kleine Anpassungen anstelle vollständiger Transformationen lernen können.
Übersicht
Dieser einfache Trick ermöglichte es, Netzwerke hunderte Schichten tief zu trainieren, was einen Sprung in der Bilderkennungsgenauigkeit auslöste.
Tiefer Einblick
Vor ResNets führte das Stapeln vieler Schichten paradoxerweise dazu, dass die Leistung von Netzwerken schlechter wurde, selbst bei Trainingsdaten, ein Problem, das als Degradation bezeichnet wird. Im Jahr 2015 führten die Microsoft-Forscher Kaiming He und Kollegen den Restblock ein: Anstatt einen Stapel von Schichten direkt aufzufordern, eine Ausgabe H(x) zu erzeugen, ließen sie ihn einen Rest F(x) = H(x) - x lernen und fügten dann die ursprüngliche Eingabe x über eine Verknüpfung wieder hinzu. Wenn eine Schicht nicht benötigt wird, kann sie einfach lernen, nichts zu tun (F(x) = 0). ResNet-152 gewann den ImageNet-Wettbewerb 2015 mit einem Top-5-Fehler von etwa 3,6 Prozent und übertraf damit menschliche Schätzungen. Seine Architektur wurde zu einem grundlegenden Rückgrat für Erkennung, Segmentierung und medizinische Bildgebung.
Technischer Einblick
Die Sprungverbindung verwandelt die Aufgabe jedes Blocks in y = F(x) + x. Während der Rückausbreitung fließt der Gradient unverändert durch die Identitätsverknüpfung, sodass er auch über Hunderte von Schichten hinweg nicht auf nahezu Null verschwinden kann. Dadurch bleiben Deep Stacks trainierbar. Identitätsverknüpfungen fügen keine zusätzlichen Parameter hinzu; Nur wenn sich Eingabe- und Ausgabegröße unterscheiden, werden die Abmessungen vor der Addition durch eine kleine Projektion (1x1-Faltung) angepasst.
Strategische Auswirkungen
Geschwindigkeit und Umfang
Visuelle KI kann Inspektions-, Erkennungs- und Kennzeichnungsaufgaben im großen Maßstab automatisieren.
Bauen Sie Entscheidungen auf
Kreativteams können mit weniger manuellen Überarbeitungen schneller Prototypen von Konzepten erstellen.
Team und Arbeitsablauf
Vorgänge können Bild- und Videosignale nutzen, die bisher schwer zu verarbeiten waren.
Die Zukunft der Residualnetzwerke
Restverbindungen sind mittlerweile nahezu universell: Transformatoren, Diffusionsmodelle und große Sprachmodelle nutzen sie alle, um das Training sehr tiefer Stapel zu stabilisieren. Die Forschung an Varianten wie ResNets vor der Aktivierung, den gruppierten Pfaden von ResNeXt und der Kombination von Restideen mit normalisierungsfreiem Training wird fortgesetzt. Erwarten Sie, dass das zentrale Skip-Connection-Prinzip als Standardbaustein bestehen bleibt, auch wenn sich die umgebenden Architekturen von reinen Faltungen hin zu Aufmerksamkeits- und Hybriddesigns verlagern.
Reale Umsetzung
ImageNet-Klassifizierungs-Backbones (ResNet-50, ResNet-101), die als vorab trainierte Merkmalsextraktoren für Transferlernen verwendet werden
Tumor- und Läsionserkennung in Radiologie- und Pathologiebildern mithilfe von ResNet-basierten Encodern
Objekterkennungs- und Instanzsegmentierungs-Frameworks wie Faster R-CNN und Mask R-CNN, die ResNet-Backbones verwenden
Selbstfahrende Wahrnehmungspipelines, die Fußgänger, Fahrzeuge und Schilder anhand von Kamerabildern klassifizieren
Risiken und Leitplanken
Bildrechte und Einwilligungen können zu rechtlichen Risiken werden, wenn die Herkunft unklar ist.
Die Modellleistung kann je nach Beleuchtung, Demografie und Umgebung variieren.
Fehlalarme können unbemerkt bleiben, wenn die Konfidenzschwellen nicht überwacht werden.
Implementierungs-Roadmap
Definieren Sie Akzeptanzkriterien für Präzision, Rückruf und Fehlerkosten.
Testen Sie mit Daten, die den realen Produktionsbedingungen entsprechen.
Fügen Sie eine menschliche Überprüfung für Vorhersagen mit geringem Vertrauen oder großer Auswirkung hinzu.
Verfolgen Sie die Modelldrift und führen Sie nach Kamera- oder Datensatzänderungen eine erneute Validierung durch.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Nächster Leitfaden
Feature-Pyramiden-Netzwerke
Häufig gestellte Fragen
Was sind Residualnetzwerke?
Residual Networks (ResNets) sind tiefe neuronale Netzwerke, die „Skip-Verbindungen“ hinzufügen, sodass Schichten kleine Anpassungen anstelle vollständiger Transformationen lernen können. Dieser einfache Trick ermöglichte es, Netzwerke mit einer Tiefe von Hunderten von Schichten zu trainieren, was zu einem Sprung in der Genauigkeit der Bilderkennung führte.
Welches Problem haben Restverbindungen konkret gelöst?
Vor ResNets führte das Hinzufügen weiterer Ebenen zu einer Verschlechterung der Genauigkeit, selbst bei Trainingsdaten. Durch das Überspringen von Verbindungen wurde dieses Problem behoben, indem die Ebenen einfacher optimiert werden konnten.
Was berechnet ein Restblock eigentlich als Ausgabe?
Ein Residuenblock gibt y = F(x) + x aus und fügt das gelernte Residuum über eine Sprungverbindung zur Eingabe hinzu.
Warum helfen Skip-Verbindungen bei Steigungen während des Trainings?
Die Identitätsverknüpfung bietet einen direkten Weg für den unveränderten Rückfluss von Gradienten und verhindert so das Problem des verschwindenden Gradienten in sehr tiefen Stapeln.
Wie viele Schichten hatte das siegreiche ResNet-Modell aus dem Jahr 2015 ungefähr?
ResNet-152 mit 152 Schichten gewann den ImageNet-Wettbewerb 2015 und zeigte damit, dass sehr tiefe Netzwerke nun erfolgreich trainiert werden können.
Was macht der Block, wenn die Schichten eines Restblocks F(x) = 0 lernen?
Wenn F(x) = 0 ist, ist die Ausgabe nur x, sodass der Block zu einer Identitätszuordnung wird. Dadurch sind zusätzliche Schichten unschädlich, wenn sie nicht benötigt werden.