Als nächstesNächster Leitfaden
Gradienten-Checkpointing
Technisch
Technischer Leitfaden
Beim Training tiefer Netzwerke schrumpfen Fehlersignale gegen Null oder explodieren gegen Unendlich, wenn sie rückwärts durch viele Schichten wandern.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
Dadurch werden tiefe und wiederkehrende Modelle schmerzhaft langsam oder können ohne spezifische Korrekturen nicht trainiert werden.
Neural networks learn through backpropagation, which multiplies gradients layer by layer using the chain rule. Wenn Sie viele Schichten stapeln, werden diese Faktoren pro Schicht miteinander multipliziert. If each factor is consistently less than 1, the product shrinks exponentially and early layers barely update — the vanishing gradient problem. If each factor is greater than 1, the product explodes, producing huge unstable updates or NaN values. Saturating activations like sigmoid and tanh, whose derivatives max out at 0.25 and 1, are classic culprits. Am gravierendsten ist das Problem in Deep-Feedforward-Netzen und in wiederkehrenden Netzwerken (RNNs), die lange Sequenzen verarbeiten, wo bei jedem Zeitschritt dieselbe Gewichtsmatrix erneut angewendet wird, was den Effekt dramatisch verstärkt.
Frühe RNN-Sprachmodelle hatten Schwierigkeiten, Wörter über lange Sätze hinweg zu verbinden, da Gradienten über viele Zeitschritte hinweg verschwanden, was LSTMs und GRUs motivierte.
ResNet ermöglichte das Training von mehr als 100 Layer-Bildklassifizierern durch das Hinzufügen von Sprungverbindungen, die den Farbverläufen einen direkten, unverfälschten Rückwärtsweg geben.
Ein Entwickler sieht, dass der Trainingsverlust plötzlich zu NaN wird – ein verräterisches Zeichen für explodierende Gradienten – und fügt Gradientenbeschneidung hinzu, um ihn zu stabilisieren.
Überwachungstools in PyTorch oder TensorFlow zeichnen Gradientennormen pro Ebene auf, sodass Ingenieure eine Ebene erkennen können, deren Gradienten auf nahezu Null zusammengebrochen sind.
Die wichtigsten Abhilfemaßnahmen – Restverbindungen (Überspringen), Normalisierung, Gating und sorgfältige Initialisierung – sind jetzt Standard, sodass verschwindende Gradienten selten das Training moderner Architekturen blockieren. Transformatoren umgehen das wiederkehrende Zusammensetzen vollständig, indem sie die Aufmerksamkeit auf eine Sequenz richten, anstatt eine Matrix wiederholt erneut anzuwenden. Die Forschung geht weiter an Trainingsnetzwerken mit einer Tiefe von Tausenden von Schichten, an stabilen Modellen mit sehr langem Kontext und an theoretischen Werkzeugen wie dem neuronalen Tangentenkernel, die die Signalausbreitung vorhersagen, bevor ein einzelner Trainingsschritt ausgeführt wird.
Kostenloser Newsletter
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Beim Training tiefer Netzwerke schrumpfen Fehlersignale gegen Null oder explodieren gegen Unendlich, wenn sie rückwärts durch viele Schichten wandern. Dadurch werden tiefe und wiederkehrende Modelle schmerzhaft langsam oder können ohne spezifische Korrekturen nicht trainiert werden.
Bei der Backpropagation wird die Kettenregel angewendet, bei der viele Faktoren pro Schicht miteinander multipliziert werden. Produkte mit Werten unter 1 verschwinden und Produkte über 1 explodieren.
Sigmoid and tanh derivatives can be small in saturated regions; repeated multiplication across depth or time can shrink early-layer gradients.
Ein RNN wendet bei jedem Zeitschritt erneut dieselbe wiederkehrende Gewichtsmatrix an, sodass sich der Effekt über eine lange Sequenz hinweg wie der Eigenwert dieser Matrix auf die Sequenzlänge erhöht.
Explodierende Farbverläufe erzeugen enorme Aktualisierungen, die bis ins Unendliche oder NaN überlaufen; Verschwindende Gradienten führen stattdessen dazu, dass der Verlust ins Stocken gerät.
Übersprungsverbindungen fügen einen Identitätspfad hinzu, sodass Farbverläufe rückwärts fließen können, ohne wiederholt durch Zwischenschichten abgeschwächt zu werden.
Lerne weiter
Weitere Leitfäden zu diesem Thema ausgewählt
Als nächstesNächster Leitfaden
Gradienten-Checkpointing
Technisch