Mit dem Guide verknüpftes Quiz · Mittel Ebene

Quiz zur maskierten Sprachmodellierung

Verstehen Sie die maskierte Sprachmodellierung, das Token-Auswahlschema von BERT und spätere Alternativen für das bidirektionale Vortraining.

Verwandte FührungspfadeMaskierte Sprachmodellierung
Frage 1 von 8

Was ist die Kernschulungsaufgabe bei der maskierten Sprachmodellierung?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was ist die Kernschulungsaufgabe bei der maskierten Sprachmodellierung?
    • Absichtlich verborgene Wörter aus dem umgebenden Kontext vorhersagen
    • Das nächste Wort nach einem Satz vorhersagen
    • Text zwischen zwei Sprachen übersetzen
    • Sätze nach grammatikalischer Korrektheit ordnen
  2. Wie viel Prozent der Token maskiert BERT normalerweise während des Vortrainings?
    • Ungefähr 50 %
    • Ungefähr 15 %
    • Etwa 1 %
    • Ungefähr 90 %
  3. Warum vermittelt MLM ein Modell mit bidirektionalem Verständnis?
    • Es liest Sätze rückwärts
    • Es werden zwei separate Modelle verwendet
    • Jeder Token kümmert sich sowohl um Wörter auf der linken als auch auf der rechten Seite
    • Es wird nur das vorherige Wort betrachtet
  4. Was passiert im Maskierungsschema von BERT mit etwa 10 % der ausgewählten Positionen, anstatt zu [MASKE] zu werden?
    • Sie werden vollständig gelöscht
    • Sie sind dupliziert
    • Sie werden großgeschrieben
    • Sie werden durch ein zufälliges Wort ersetzt
  5. Auf welchen Positionen wird der MLM-Verlust berechnet?
    • Nur die maskierten Positionen
    • Jedes Token im Satz
    • Nur der erste und der letzte Token
    • Nur Satzzeichen
  6. Was verschenkt MLM im Vergleich zur Vorhersage des nächsten Tokens?
    • Die Fähigkeit, Kontext zu nutzen
    • Die Möglichkeit, flüssigen Text von links nach rechts zu generieren
    • Zugang zu einem Wortschatz
    • Der Einsatz von Aufmerksamkeit
  7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
    • It masks only the first token of every sentence
    • It predicts future tokens with a causal decoder
    • The masked positions can be regenerated across training passes instead of remaining fixed
    • It replaces all masked tokens with random numbers
  8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
    • Image patch reconstruction
    • Audio speaker diarization
    • A reward model for code generation
    • Next-sentence prediction