Mit dem Guide verknüpftes Quiz · Mittel Ebene

Selbstüberwachtes Lernquiz

Überprüfen Sie datenabgeleitete Ziele, BERT-Maskierung, SimCLR-Paare, Annotationsbedarf, Anpassung, Next-Token-Aufgaben, Projektionsköpfe und beschädigte Token-Ziele.

Verwandte FührungspfadeSelbstüberwachtes Lernen
Frage 1 von 8

Woher kommt das Supervisionssignal in den beschriebenen selbstüberwachten Beispielen?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Woher kommt das Supervisionssignal in den beschriebenen selbstüberwachten Beispielen?
    • Eine Voraussetzung für kein Ausbildungsziel
    • Nur neue menschliche semantische Bezeichnungen für jedes Beispiel vor dem Training
    • Es gilt die Regel, dass Beispiele keine nützlichen Informationen enthalten
    • Die Daten und definierten Transformationen davon
  2. Welche Eingabepositionen tragen Vorhersageziele zum ursprünglichen BERT-Verlust des maskierten Sprachmodells bei?
    • Die für die MLM-Vorhersageaufgabe ausgewählten Positionen
    • Jede Position in der gesamten Eingabe unabhängig von der Auswahl
    • Nur die erste Position jedes neuen Satzes
    • Nur Positionen, die nach der letzten Satzgrenze erscheinen
  3. Beim kontrastiven Lernen wie SimCLR ist ein „positives Paar“:
    • Zwei völlig unabhängige Bilder
    • Ein Paar von Menschen geschriebene Etiketten
    • Zwei erweiterte Ansichten desselben Bildes, die im Einbettungsraum nahe beieinander liegen sollten
    • Zwei Kopien des Datensatzes
  4. Welchen Anmerkungsbedarf kann das selbstüberwachte Vortraining in den beschriebenen Beispielen reduzieren?
    • Der Bedarf an verwertbaren Eingabedaten
    • Separate aufgabenspezifische semantische Bezeichnungen für jedes Vortrainingsbeispiel
    • Alle Rechenkosten per Definition
    • Die Notwendigkeit, die nachgelagerte Leistung zu bewerten
  5. Wie kann eine durch Selbstsupervision erlernte Darstellung für eine spätere Aufgabe genutzt werden?
    • Durch die Bewertung eines Aufgabenkopfes oder die Anpassung der Darstellung durch Feinabstimmung
    • Indem davon ausgegangen wird, dass jede Zielaufgabe keine Beschriftungen oder Validierung erfordert
    • Indem alle Darstellungen verworfen werden, bevor Vorhersagen getroffen werden
    • Indem der Verlust vor dem Training als Beweis für die Genauigkeit jeder Anwendung betrachtet wird
  6. Wie unterscheidet sich die selbstüberwachte Aufgabe eines GPT-Modells von der von BERT?
    • Es wird überhaupt kein Text verwendet
    • Es erfordert manuelle Beschriftungen für jedes Wort
    • Es sagt nur das erste Wort eines Dokuments voraus
    • Es sagt den nächsten Token voraus, anstatt maskierte Token auszufüllen
  7. Welche Komponente wird im ursprünglichen SimCLR-Framework für die gemeldete Downstream-Repräsentationsverwendung verworfen?
    • Die Encoder-Darstellung selbst
    • Der kontrastierende Projektionskopf
    • Alle Trainingseingaben vor Beginn des Vortrainings
    • Die Positivpaar-Quelle-Bild-Beziehung
  8. Was bleibt das Verlustziel, wenn das ursprüngliche BERT-Vortraining eine ausgewählte Eingabeposition durch einen zufälligen Token ersetzt?
    • Der neu eingefügte Zufallstoken
    • In jedem Fall das erste Token des nächsten Satzes
    • Der Original-Token vor dem Austausch
    • Kein Ziel, da jede zufällige Ersetzung im Training weggelassen wird