Mit dem Guide verknüpftes Quiz · Mittel Ebene

WordPiece-Tokenisierungsquiz

Sehen Sie sich das Vokabular und die gierigen Segmentierungsregeln von WordPiece an, einschließlich seiner Rolle im mehrsprachigen BERT und seinem Kontrast zu BPE.

Verwandte FührungspfadeTokenisierung von Wortstücken
Frage 1 von 8

Was bedeutet das Präfix „##“ in der WordPiece-Ausgabe?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was bedeutet das Präfix „##“ in der WordPiece-Ausgabe?
    • Das Token ist ein Fortsetzungsteil innerhalb eines Wortes, kein Wortanfang
    • Der Token ist ein spezielles Trennzeichen wie [SEP]
    • Der Token hat die höchste Häufigkeit im Vokabular
    • Der Token ist ein unbekannter Marker außerhalb des Wortschatzes
  2. Wie groß ist ungefähr der WordPiece-Vokabular, der vom ursprünglichen BERT verwendet wird?
    • Ungefähr 256 Token
    • Ungefähr 30.000 Token
    • Ungefähr 1 Million Token
    • Ungefähr 500 Token
  3. Wie unterscheidet sich das Zusammenführungskriterium von WordPiece von der Standard-Bytepaar-Kodierung?
    • Es führt das seltenste Paar zusammen, um den Wortschatz zu reduzieren
    • Es verschmilzt nie und verwendet nur Zeichen
    • Die Zusammenführung erfolgt durch Maximierung der Wahrscheinlichkeit der Trainingsdaten und nicht durch die bloße Häufigkeit
    • Während des Trainings werden Paare nach dem Zufallsprinzip zusammengeführt
  4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. Wie entscheidet WordPiece zum Zeitpunkt der Inferenz, wie ein Wort aufgeteilt wird?
    • Es passt gierig von links nach rechts zum längsten Unterwort im Vokabular
    • Es wählt zuerst die kürzestmöglichen Stücke aus
    • Es versucht jede mögliche Aufteilung und ermittelt den Durchschnitt
    • Es verwendet ein neuronales Netzwerk, um Teilungen vorherzusagen
  6. Mit welcher bekannten Modellfamilie wird WordPiece am meisten in Verbindung gebracht?
    • GPT-Modelle
    • BERT und seine Derivate
    • LLaMA-Modelle
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer