Selbstüberwachtes Lernen
Beim selbstüberwachten Lernen werden Modelle anhand unbeschrifteter Daten trainiert, indem eine Aufgabe erfunden wird, deren Antwort in den Daten selbst verborgen ist.
Übersicht
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
Tiefer Einblick
Das manuelle Beschriften von Daten ist langsam und teuer, dennoch ist die Welt voller unbeschrifteter Texte, Bilder, Audio- und Videodateien. Selbstüberwachtes Lernen erschließt es, indem „Vorwandaufgaben“ erstellt werden, bei denen die Daten ihre eigene Antwort liefern. Das klassische Beispiel ist die von BERT verwendete maskierte Sprachmodellierung: Verstecken Sie einige Wörter in einem Satz und trainieren Sie das Modell, um sie aus dem Kontext vorherzusagen. Modelle im GPT-Stil sagen das nächste Wort voraus. Kontrastive Methoden wie SimCLR zeigen dem Modell in der visuellen Darstellung zwei vergrößerte Ausschnitte desselben Bildes und lehren es, dass sie zusammengehören, während sie unterschiedliche Bilder auseinanderschieben. Das Lösen dieser selbst erstellten Rätsel zwingt das Modell dazu, umfassende interne Darstellungen von Bedeutung und Struktur zu erstellen. Diese Darstellungen lassen sich dann wirkungsvoll auf reale Downstream-Aufgaben übertragen, bei denen nur wenige oder keine gekennzeichneten Daten vorhanden sind.
Technischer Einblick
Der Trick besteht darin, kostenlos ein Überwachungssignal zu generieren. Bei der maskierten Modellierung ist das verborgene Token die Bezeichnung, sodass ein Verlust ohne menschliche Anmerkungen berechnet werden kann. Beim kontrastiven Lernen bilden zwei Erweiterungen eines Bildes ein „positives Paar“, das eng im Einbettungsraum sitzen sollte, während andere Bilder als „negative“ Bilder verdrängt werden. In jedem Fall wird das Modell anhand von Beschriftungen optimiert, die ausschließlich aus der Struktur der Daten selbst abgeleitet werden, und erlernt allgemeine Merkmale, die später nur einer leichten Feinabstimmung bedürfen.
Strategische Auswirkungen
Klarere Entscheidungen
Es hilft Ihnen, klare technische Aussagen von der Marketingsprache zu trennen.
Kosten und Budget
Sie können bessere Fragen zur Implementierung stellen, bevor Sie Geld oder Zeit investieren.
Team und Arbeitsablauf
Teams mit gemeinsamem Verständnis treffen bessere Produkt-, Richtlinien- und Lernentscheidungen.
Die Zukunft des selbstüberwachten Lernens
Selbstüberwachtes Lernen ist der Motor hinter den heutigen Grundlagenmodellen, und diese Rolle wird weiter zunehmen. Der klare Trend geht zum multimodalen Vortraining, bei dem ein einzelnes Modell gemeinsam aus Text, Bildern, Audio und Video lernt und dabei selbstüberwachte Ziele verfolgt. Forscher drängen über kontrastive Methoden hinaus auf maskierte Vorhersageansätze im Bereich Vision und Selbstdestillationstechniken, die keiner negativen Beispiele bedürfen. Da qualitativ hochwertige, gekennzeichnete Daten zum Engpass werden, bleibt das Erlernen nützlicher Strukturen direkt aus riesigen, unbeschrifteten Datenströmen die zentrale Strategie für die Skalierung von KI.
Reale Umsetzung
BERT lernt Sprache, indem es ausgeblendete Wörter vorhersagt und diese dann für die Suche, Stimmung oder Beantwortung von Fragen verfeinert
SimCLR trainiert einen Bildencoder für unbeschriftete Fotos vor, damit er später mit sehr wenigen Beschriftungen klassifiziert werden kann
Modelle im GPT-Stil lernen das Schreiben durch wiederholte Vorhersage des nächsten Tokens über große Textkorpora hinweg
Sprachmodelle, die vorab auf rohem, unbeschriftetem Audiomaterial trainiert wurden (zur Vorhersage maskierter Klangsegmente), bevor sie an die Transkription angepasst wurden
Risiken und Leitplanken
Unterschiedliche Teams verwenden denselben Begriff möglicherweise unterschiedlich. Definieren Sie daher frühzeitig den Geltungsbereich.
Benchmarks können stark aussehen, während die tatsächliche Leistung uneinheitlich ist.
Das Ignorieren von Datenqualität und Evaluierungsplänen führt oft zu fragilen Ergebnissen.
Implementierungs-Roadmap
Beginnen Sie mit einer klaren Definition des gewünschten Ergebnisses.
Wählen Sie vor dem Testen eine Erfolgsmetrik und eine Fehlerbedingung aus.
Führen Sie ein kleines Pilotprojekt mit repräsentativen Daten durch, nicht mit einem ausgefeilten Demoset.
Dokumentieren Sie, wo selbstüberwachtes Lernen hilft und wo einfachere Methoden besser sind.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Nächster Leitfaden
Überwachtes Lernen
Häufig gestellte Fragen
What is Self-Supervised Learning?
Beim selbstüberwachten Lernen werden Modelle anhand unbeschrifteter Daten trainiert, indem eine Aufgabe erfunden wird, deren Antwort in den Daten selbst verborgen ist. Auf diese Weise lernen moderne Sprach- und Vision-Grundlagenmodelle aus dem rohen Internet, ohne Armeen menschlicher Etikettierer.
Was macht Lernen „selbstüberwacht“?
Beim selbstüberwachten Lernen wird eine Vorwandaufgabe erfunden, bei der die Antwort in den Daten verborgen ist, sodass keine menschliche Kennzeichnung erforderlich ist.
Warum ist selbstüberwachtes Lernen für Grundlagenmodelle so wertvoll?
Da das Überwachungssignal aus den Daten selbst stammt, können Modelle auf riesigen, unbeschrifteten Korpora aus dem Internet vorab trainiert werden.
Was passiert normalerweise nach einem selbstüberwachten Vortraining als nächstes?
Durch das Vortraining werden allgemeine Darstellungen erstellt, die sich gut übertragen lassen, sodass für bestimmte Aufgaben nur eine leichte Feinabstimmung der gekennzeichneten Daten erforderlich ist.
Wie unterscheidet sich die selbstüberwachte Aufgabe eines GPT-Modells von der von BERT?
Modelle im GPT-Stil werden darauf trainiert, den nächsten Token in einer Sequenz vorherzusagen, während BERT maskierte Token sowohl im linken als auch im rechten Kontext vorhersagt.