Kvíz spojený s průvodcem · Střední úroveň

Tokenizační kvíz SentencePiece

Projděte si školení nezpracovaného textu, reverzibilní mezery, algoritmy slovní zásoby a záložní byte pro vícejazyčné zpracování textu od SentencePiece.

Související vodicí cestyTokenizace věty
Otázka 1 z 8

Jakému klíčovému předpokladu se SentencePiece vyhýbá, na který spoléhají tradiční tokenizéry?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jakému klíčovému předpokladu se SentencePiece vyhýbá, na který spoléhají tradiční tokenizéry?
    • Že slova jsou oddělena mezerami
    • Tento text je kódován v UTF-8
    • Že věty končí interpunkcí
    • Že slovní zásoba je předem pevně daná
  2. Proč SentencePiece nahrazuje mezery viditelným meta symbolem?
    • Pro agresivnější kompresi textu
    • Aby byla tokenizace plně reverzibilní (bezeztrátová)
    • Chcete-li automaticky odstranit veškerou interpunkci
    • K překladu mezi jazyky
  3. Které dva algoritmy SentencePiece primárně podporuje?
    • TF-IDF a Word2Vec
    • LSTM a CNN
    • BPE a jazykový model Unigram
    • K-means a PCA
  4. Jak si model Unigram buduje slovní zásobu?
    • Začátkem naprázdno a sloučením častých dvojic postav
    • Zkopírováním anglického slovníku
    • Pomocí pevného seznamu 1 000 slov
    • Zahájením velkých a ořezáním nejméně užitečných kusů přes EM
  5. Který model skvěle používá tokenizér SentencePiece?
    • T5
    • GPT-2
    • ELMo
    • Rukavice
  6. Jakou výhodu poskytuje SentencePiece záloha na úrovni bajtů?
    • Díky tomu je model vlaku rychlejší
    • Zaručuje, že jakákoli postava může být reprezentována, čímž se vyhnete chybám mimo slovní zásobu
    • Odstraňuje potřebu pozornosti
    • Automaticky zdvojnásobí velikost slovní zásoby
  7. What kind of input can SentencePiece use to train a subword model directly?
    • Only text already converted to English word tokens
    • Only a fixed dictionary of complete words
    • Raw sentences, without first splitting them into word sequences
    • Only character-frequency tables with no sentence data
  8. Why is a language-independent tokenizer useful for multilingual text?
    • It translates every input into one language before tokenizing
    • It assigns the same meaning to every token in every language
    • It removes the need for a model vocabulary
    • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation