Als nächstesNächster Leitfaden
Stochastischer Gradientenabstieg mit Schwung
Grundlagen
Grundlagen-Leitfaden
Dropout und stochastische Regularisierung
Dropout ist ein Regularisierungstrick, der bei jedem Trainingsschritt zufällig einen Bruchteil der Neuronen ausschaltet und das Netzwerk dazu zwingt, redundante, robuste Darstellungen zu erstellen.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
Auf dieser Seite2 Minuten gelesen
Übersicht
It became one of the most influential techniques for fighting overfitting in deep learning.
Tiefer Einblick
Dropout wurde etwa 2012 von Hintons Gruppe eingeführt und behebt eine zentrale Schwäche großer Netzwerke: Neuronen können sich gemeinsam anpassen und lernen, Fehler gegenseitig auf eine Weise zu beheben, die nur bei den Trainingsdaten funktioniert. Bei jedem Vorwärtsdurchlauf während des Trainings setzt Dropout die Ausgabe jedes Neurons mit einer gewissen Wahrscheinlichkeit p (häufig 0,5 in dichten Schichten) zufällig auf Null. Da jedes Neuron verschwinden kann, kann sich das Netzwerk nicht auf fragile Partnerschaften stützen und muss nützliche Informationen über viele Einheiten verteilen. Dies wirkt so, als würde man ein riesiges Ensemble ausgedünnter Netzwerke trainieren, die sich die Gewichte teilen. Zum Testzeitpunkt wird der Dropout ausgeschaltet und das gesamte Netzwerk genutzt, wobei die Aktivierungen so skaliert werden, dass die erwartete Ausgabe dem Training entspricht. Das Ergebnis ist in der Regel eine bessere Verallgemeinerung auf Kosten einer etwas längeren Schulung.
Reale Umsetzung
Hinzufügen einer Dropout-Ebene mit p um etwa 0,5 zwischen dichten Ebenen eines Bild- oder Textklassifikators in PyTorch oder Keras
Transformer-Modelle, die Dropout auf Aufmerksamkeitsgewichte und Feed-Forward-Aktivierungen während des Vortrainings anwenden
Monte-Carlo-Dropout, bei dem der Dropout bei der Schlussfolgerung bleibt, um Unsicherheitsschätzungen für medizinische oder sicherheitskritische Vorhersagen zu erstellen
Stochastische Tiefe (DropPath) überspringt zufällig verbleibende Blöcke, um sehr tiefe Netzwerke wie ResNets und Vision Transformer zu regulieren
Die Zukunft von Dropout und stochastischer Regularisierung
In Faltungs-Vision-Netzwerken hat die Batch-Normalisierung den Standard-Dropout weitgehend verdrängt, aber Varianten gedeihen anderswo: Transformatoren wenden Dropout auf Aufmerksamkeits- und Feed-Forward-Schichten an, und DropPath (stochastische Tiefe) verwirft ganze Restblöcke. Zur Schätzung der Modellunsicherheit wird der Monte-Carlo-Dropout verwendet, der den Dropout bei der Inferenz aktiv hält. Erwarten Sie, dass die stochastische Regularisierung ein flexibler Toolkit bleibt, der je nach Architektur angepasst wird, und nicht ein einzelnes festes Rezept.
In die Tat umsetzen
Warum es wichtig ist
- Klarere Entscheidungen. Es hilft Ihnen, klare technische Aussagen von der Marketingsprache zu trennen.
- Kosten und Budget. Sie können bessere Fragen zur Implementierung stellen, bevor Sie Geld oder Zeit investieren.
- Team und Arbeitsablauf. Teams mit gemeinsamem Verständnis treffen bessere Produkt-, Richtlinien- und Lernentscheidungen.
Achten Sie auf
- Unterschiedliche Teams verwenden denselben Begriff möglicherweise unterschiedlich. Definieren Sie daher frühzeitig den Geltungsbereich.
- Benchmarks können stark aussehen, während die tatsächliche Leistung uneinheitlich ist.
- Das Ignorieren von Datenqualität und Evaluierungsplänen führt oft zu fragilen Ergebnissen.
Nächste Schritte
- Beginnen Sie mit einer klaren Definition des gewünschten Ergebnisses.
- Wählen Sie vor dem Testen eine Erfolgsmetrik und eine Fehlerbedingung aus.
- Führen Sie ein kleines Pilotprojekt mit repräsentativen Daten durch, nicht mit einem ausgefeilten Demoset.
- Dokumentieren Sie, wo Dropout und stochastische Regularisierung hilfreich sind und wo einfachere Methoden besser sind.
Entdecken Sie weiter
Kostenloser Newsletter
Erhalten Sie die tägliche KI-Briefing
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Take the Dropout and Stochastic Regularization quiz
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Häufig gestellte Fragen
What is Dropout and Stochastic Regularization?
Dropout ist ein Regularisierungstrick, der bei jedem Trainingsschritt zufällig einen Bruchteil der Neuronen ausschaltet und das Netzwerk dazu zwingt, redundante, robuste Darstellungen zu erstellen. Es wurde zu einer der einflussreichsten Techniken zur Bekämpfung der Überanpassung beim Deep Learning.
Was macht ein Abbrecher während der Ausbildung?
Dropout setzt jedes Neuron während des Trainings zufällig mit der Wahrscheinlichkeit p auf Null, sodass bei jedem Schritt ein anderes ausgedünntes Teilnetz verwendet wird.
Warum verbessert Dropout die Generalisierung?
Durch das zufällige Entfernen von Einheiten verhindert Dropout, dass Neuronen fragile Partnerschaften eingehen, die nur auf Trainingsdaten funktionieren, wodurch die Robustheit verbessert wird.
Was passiert mit einem Ausfall zum Zeitpunkt des Tests (Inferenz)?
Bei der Inferenz wird das gesamte Netzwerk mit deaktiviertem Dropout ausgeführt und die Aktivierungen werden so skaliert, dass die erwarteten Ausgaben mit der Trainingsverteilung übereinstimmen.
Eine Abbrecherquote von p = 0,5 in einer Schicht bedeutet ungefähr: Was bedeutet das während des Trainings?
Bei p = 0,5 beträgt die Wahrscheinlichkeit, dass jedes Neuron auf Null gesetzt wird, 50 Prozent, sodass im Durchschnitt etwa die Hälfte pro Vorwärtsdurchlauf gelöscht wird.
Was wird oft als Annäherung an den Dropout bezeichnet?
Durch die Abtastung eines anderen Subnetzwerks in jedem Schritt wird eine Annäherung an die Mittelung über eine exponentielle Anzahl von Netzwerken mit gemeinsamer Gewichtung erzielt, eine Form der kostengünstigen Zusammenführung.
Lerne weiter
Verwandte Leitfäden
Weitere Leitfäden zu diesem Thema ausgewählt