Regularisierung
Bei der Regularisierung handelt es sich um eine Reihe von Techniken, die ein Modell bewusst einschränken, sodass es auf neue Daten verallgemeinert wird, anstatt sich den Trainingssatz zu merken.
Übersicht
It is the main toolkit for fighting overfitting.
Tiefer Einblick
Wenn diese Option nicht aktiviert ist, passt sich ein flexibles Modell an jeden Punkt in den Trainingsdaten an, einschließlich Rauschen. Die Regularisierung wirkt zurück, indem sie eine Strafe oder Einschränkung hinzufügt, die einfachere Lösungen begünstigt. Die gebräuchlichsten Formen fügen der Verlustfunktion basierend auf der Größe der Modellgewichte einen Term hinzu. Die L2-Regularisierung (Gewichtsabfall) bestraft große Gewichte sanft, schrumpft sie gegen Null und erzeugt glattere Modelle. Die L1-Regularisierung beeinträchtigt den absoluten Wert von Gewichtungen und kann einige bis auf Null bringen, wodurch effektiv eine Teilmenge von Merkmalen ausgewählt wird. Abgesehen von den Gewichtseinbußen schaltet ein Dropout zufällig Neuronen während des Trainings aus, ein früher Stopp stoppt das Training, bevor eine Überanpassung einsetzt, und eine Datenerweiterung erweitert den effektiven Trainingssatz. Jeder tauscht ein wenig Trainingsgenauigkeit gegen eine viel bessere Leistung in der Praxis.
Technischer Einblick
Die meisten Regularisierungen verändern das Ziel, das der Optimierer minimiert. Anstatt nur den Vorhersagefehler zu minimieren, minimieren Sie den Fehler plus Lambda mal eine Strafe für Gewichte, wobei Lambda die Stärke steuert. L2 addiert die Summe der quadrierten Gewichte und fördert so viele kleine Gewichte; L1 addiert die Summe der absoluten Gewichte und fördert so die Sparsity mit exakten Nullen. Dropout funktioniert anders: Indem es die Aktivierungen bei jedem Schritt zufällig auf Null setzt, verhindert es die gemeinsame Anpassung von Neuronen und trainiert annähernd ein Ensemble von Subnetzwerken. All dies verringert die Varianz auf Kosten einer leicht erhöhten Verzerrung.
Strategische Auswirkungen
Klarere Entscheidungen
Es hilft Ihnen, klare technische Aussagen von der Marketingsprache zu trennen.
Kosten und Budget
Sie können bessere Fragen zur Implementierung stellen, bevor Sie Geld oder Zeit investieren.
Team und Arbeitsablauf
Teams mit gemeinsamem Verständnis treffen bessere Produkt-, Richtlinien- und Lernentscheidungen.
Die Zukunft der Regularisierung
Explizite Strafen wie L2 und Dropout bleiben Standard, aber die Aufmerksamkeit verlagert sich auf die implizite Regularisierung, die Art und Weise, wie Optimierer wie der stochastische Gradientenabstieg große Modelle stillschweigend in Richtung verallgemeinerbarer Lösungen verlagern, auch ohne eine zusätzliche Strafe. Techniken wie Etikettenglättung, Verwechslung und stärkere Datenerweiterung werden für das Training großer Visions- und Sprachmodelle immer wichtiger. Erwarten Sie mehr Forschung darüber, warum überparametrisierte Netzwerke einer Überanpassung widerstehen, und über adaptive Methoden, die die Regularisierungsstärke während des Trainings automatisch anpassen, anstatt sich auf eine manuelle Suche zu verlassen.
Reale Umsetzung
Hinzufügen des L2-Gewichtsabfalls zu einem Deep-Image-Klassifikator, sodass dieser von Tausenden von Trainingsfotos auf unsichtbare verallgemeinert.
Verwendung der L1-Regularisierung in einem Genommodell, um aus Tausenden automatisch die Handvoll Gene auszuwählen, die tatsächlich ein Ergebnis vorhersagen.
Anwenden von Dropout in einem Empfehlungsnetzwerk, damit es sich nicht zu sehr auf ein einzelnes Benutzersignal verlässt.
Das Training vorzeitig beenden, sobald sich der Validierungsverlust nicht mehr bessert, auch wenn der Trainingsverlust weiter sinken könnte.
Risiken und Leitplanken
Unterschiedliche Teams verwenden denselben Begriff möglicherweise unterschiedlich. Definieren Sie daher frühzeitig den Geltungsbereich.
Benchmarks können stark aussehen, während die tatsächliche Leistung uneinheitlich ist.
Das Ignorieren von Datenqualität und Evaluierungsplänen führt oft zu fragilen Ergebnissen.
Implementierungs-Roadmap
Beginnen Sie mit einer klaren Definition des gewünschten Ergebnisses.
Wählen Sie vor dem Testen eine Erfolgsmetrik und eine Fehlerbedingung aus.
Führen Sie ein kleines Pilotprojekt mit repräsentativen Daten durch, nicht mit einem ausgefeilten Demoset.
Dokumentieren Sie, wo Regularisierung hilft und wo einfachere Methoden besser sind.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Nächster Leitfaden
Gewichtsabnahme und L2-Regularisierung
Häufig gestellte Fragen
What is Regularization?
Bei der Regularisierung handelt es sich um eine Reihe von Techniken, die ein Modell bewusst einschränken, sodass es auf neue Daten verallgemeinert wird, anstatt sich den Trainingssatz zu merken. Es ist das wichtigste Toolkit zur Bekämpfung von Overfitting.
Was ist das Hauptziel der Regularisierung?
Durch die Regularisierung wird ein Modell bewusst eingeschränkt, um das Auswendiglernen der Trainingsdaten zu verhindern und so die Leistung bei unsichtbaren Beispielen zu verbessern.
Welche Regularisierungstechnik führt am wahrscheinlichsten dazu, dass einige Gewichte genau auf Null gesetzt werden, wodurch Features effektiv ausgewählt werden?
L1 bestraft den absoluten Wert von Gewichtungen, wodurch weniger nützliche Gewichte tendenziell auf genau Null gesetzt werden und eine automatische Funktionsauswahl durchgeführt wird. L2 verkleinert Gewichte gleichmäßig, aber selten auf genau Null.
Wie reguliert Dropout ein neuronales Netzwerk während des Trainings?
Dropout setzt bei jedem Trainingsschritt zufällig einen Bruchteil der Aktivierungen auf Null, wodurch verhindert wird, dass sich Neuronen zu stark aufeinander verlassen und sich einem Ensemble von Subnetzwerken annähern.
Was bewirkt die Erhöhung von Lambda im regulierten Verlust „Fehler + Lambda × Strafe“?
Lambda steuert die Stärke der Regularisierung. Ein größerer Lambda-Wert verleiht der Strafe mehr Einfluss und schrumpft die Gewichte aggressiver hin zu einfacheren Modellen.
Warum kann ein vorzeitiges Anhalten als eine Form der Regularisierung angesehen werden?
Das Anhalten, wenn sich die Validierungsleistung nicht mehr verbessert, verhindert, dass das Modell in den Bereich übergeht, in dem es Rauschen speichert, ähnlich wie andere Regularisierer die Komplexität begrenzen.