Mit dem Guide verknüpftes Quiz · Mittel Ebene

SentencePiece-Tokenisierungsquiz

Sehen Sie sich das Rohtexttraining, die umkehrbaren Abstände, die Vokabelalgorithmen und den Byte-Fallback von SentencePiece für die mehrsprachige Textverarbeitung an.

Verwandte FührungspfadeSatzteil-Tokenisierung
Frage 1 von 8

Welche Schlüsselannahme vermeidet SentencePiece, auf die sich herkömmliche Tokenizer stützen?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Welche Schlüsselannahme vermeidet SentencePiece, auf die sich herkömmliche Tokenizer stützen?
    • Diese Wörter werden durch Leerzeichen getrennt
    • Dieser Text ist in UTF-8 kodiert
    • Diese Sätze enden mit Satzzeichen
    • Dass der Wortschatz im Voraus festgelegt ist
  2. Warum ersetzt SentencePiece Leerzeichen durch ein sichtbares Metasymbol?
    • Um den Text aggressiver zu komprimieren
    • Um die Tokenisierung vollständig reversibel (verlustfrei) zu machen
    • Um alle Satzzeichen automatisch zu entfernen
    • Zwischen Sprachen übersetzen
  3. Welche beiden Algorithmen unterstützt SentencePiece hauptsächlich?
    • TF-IDF und Word2Vec
    • LSTM und CNN
    • BPE und das Unigram-Sprachmodell
    • K-Mittel und PCA
  4. Wie baut das Unigram-Modell sein Vokabular auf?
    • Indem Sie leer beginnen und häufige Zeichenpaare zusammenführen
    • Durch Kopieren eines englischen Wörterbuchs
    • Durch die Verwendung einer festen Liste von 1.000 Wörtern
    • Indem man groß anfängt und die am wenigsten nützlichen Teile mittels EM beschneidet
  5. Welches Modell verwendet bekanntermaßen einen SentencePiece-Tokenizer?
    • T5
    • GPT-2
    • ELMo
    • Handschuh
  6. Welchen Vorteil bietet der Fallback auf Byte-Ebene SentencePiece?
    • Es macht die Modelleisenbahn schneller
    • Es stellt sicher, dass jedes Zeichen dargestellt werden kann, und vermeidet Fehler, die außerhalb des Vokabulars liegen
    • Es beseitigt das Bedürfnis nach Aufmerksamkeit
    • Dadurch wird die Vokabulargröße automatisch verdoppelt
  7. Welche Art von Eingabe kann SentencePiece verwenden, um ein Unterwortmodell direkt zu trainieren?
    • Nur Text, der bereits in englische Wort-Tokens konvertiert wurde
    • Nur ein festes Wörterbuch mit vollständigen Wörtern
    • Rohe Sätze, ohne sie vorher in Wortfolgen aufzuteilen
    • Nur Zeichenhäufigkeitstabellen ohne Satzdaten
  8. Warum ist ein sprachunabhängiger Tokenizer für mehrsprachige Texte nützlich?
    • Es übersetzt jede Eingabe vor der Tokenisierung in eine Sprache
    • Es weist jedem Token in jeder Sprache die gleiche Bedeutung zu
    • Dadurch entfällt die Notwendigkeit eines Modellvokabulars
    • Dieselbe Tokenizer-Pipeline kann Skripte verarbeiten, ohne dass eine sprachspezifische Wortsegmentierung erforderlich ist