Als nächstesNächster Leitfaden
Pseudo-Labeling und Selbsttraining
Technisch
Technischer Leitfaden
BYOL (Bootstrap Your Own Latent) lernt nützliche Bilddarstellungen ohne Beschriftungen und überraschenderweise ohne negative Beispiele.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
It showed that self-supervised learning need not rely on pushing apart dissimilar images, sidestepping the need for huge batches of negatives.
Die meisten frühen selbstüberwachten Methoden waren kontrastiv: Sie fügten zwei erweiterte Ansichten desselben Bildes zusammen und schoben gleichzeitig verschiedene Bilder auseinander, was viele negative Stichproben erforderte, um einen Kollaps zu vermeiden (wobei das Netzwerk für alles den gleichen Vektor ausgibt). BYOL, von DeepMind im Jahr 2020, hat Negative vollständig entfernt. Es nutzt zwei Netzwerke: ein Online-Netzwerk und ein Zielnetzwerk. Zwei erweiterte Ansichten eines Bildes durchlaufen die beiden Netzwerke; Das Online-Netzwerk fügt einen Vorhersagekopf hinzu und ist darauf trainiert, die Darstellung der anderen Ansicht durch das Zielnetzwerk vorherzusagen. Entscheidend ist, dass die Gewichte des Zielnetzwerks nicht durch Gradientenabstieg trainiert werden. Stattdessen handelt es sich um einen exponentiellen gleitenden Durchschnitt (EMA) der Online-Gewichte. Diese Asymmetrie und das EMA-Ziel verhindern den befürchteten trivialen Kollaps kontrastiver Methoden, die kontrastive Basislinien auf ImageNet erreichen oder übertreffen.
Vorabtraining eines Seh-Rückgrats anhand von Millionen unbeschrifteter Fotos und anschließende Feinabstimmung anhand eines kleinen beschrifteten medizinischen Bildgebungsdatensatzes, bei dem Expertenanmerkungen rar sind.
Erlernen von Roboterwahrnehmungsfunktionen aus rohen Kameraströmen ohne manuelle Beschriftung, wodurch die Kosten für das Erlernen von Manipulationsaufgaben gesenkt werden.
Erstellen von Bildabruf- und Deduplizierungssystemen mithilfe von BYOL-Einbettungen, die visuell ähnliche Bilder ohne Klassenbezeichnungen gruppieren.
Initialisierung von Satelliten- oder Luftbildmodellen auf riesigen, unbeschrifteten Archiven vor der Feinabstimmung für die Landnutzungs- oder Entwaldungsklassifizierung.
Nicht-kontrastierende Ideen verankern heute einen Großteil der selbstüberwachten Vision. SimSiam hat BYOL weiter reduziert und gezeigt, dass das EMA-Ziel nicht unbedingt erforderlich ist, wenn der Stoppgradient beibehalten wird, und vertieft so das Verständnis dafür, warum ein Kollaps vermieden wird. Erwarten Sie, dass diese kennzeichnungsfreien Pre-Training-Rezepte weiterhin mit maskierter Bildmodellierung und multimodalem Training verschmelzen und sich auf Video, Audio, medizinische Bildgebung und Robotik ausweiten, wo Etiketten knapp oder teuer sind, oft als Vortrainingsphase vor einer leichten überwachten Feinabstimmung.
Kostenloser Newsletter
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
BYOL (Bootstrap Your Own Latent) lernt nützliche Bilddarstellungen ohne Beschriftungen und überraschenderweise ohne negative Beispiele. Es zeigte sich, dass selbstüberwachtes Lernen nicht darauf angewiesen sein muss, unterschiedliche Bilder auseinanderzuschieben und so die Notwendigkeit riesiger Mengen an Negativen zu umgehen.
The BYOL paper highlights learning representations without negative pairs.
BYOL trains the online branch to predict the target representation across two views.
The paper describes updating the target with a slow-moving average.
The BYOL method uses asymmetry and a stop-gradient as parts of its design.
The paper learns by predicting one view’s target representation from another.
Lerne weiter
Weitere Leitfäden zu diesem Thema ausgewählt
Als nächstesNächster Leitfaden
Pseudo-Labeling und Selbsttraining
Technisch