Kvíz spojený s průvodcem · Střední úroveň
Tokenizační kvíz SentencePiece
Projděte si školení nezpracovaného textu, reverzibilní mezery, algoritmy slovní zásoby a záložní byte pro vícejazyčné zpracování textu od SentencePiece.
Otázka 1 z 8
Jakému klíčovému předpokladu se SentencePiece vyhýbá, na který spoléhají tradiční tokenizéry?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jakému klíčovému předpokladu se SentencePiece vyhýbá, na který spoléhají tradiční tokenizéry?
- Že slova jsou oddělena mezerami
- Tento text je kódován v UTF-8
- Že věty končí interpunkcí
- Že slovní zásoba je předem pevně daná
- Proč SentencePiece nahrazuje mezery viditelným meta symbolem?
- Pro agresivnější kompresi textu
- Aby byla tokenizace plně reverzibilní (bezeztrátová)
- Chcete-li automaticky odstranit veškerou interpunkci
- K překladu mezi jazyky
- Které dva algoritmy SentencePiece primárně podporuje?
- TF-IDF a Word2Vec
- LSTM a CNN
- BPE a jazykový model Unigram
- K-means a PCA
- Jak si model Unigram buduje slovní zásobu?
- Začátkem naprázdno a sloučením častých dvojic postav
- Zkopírováním anglického slovníku
- Pomocí pevného seznamu 1 000 slov
- Zahájením velkých a ořezáním nejméně užitečných kusů přes EM
- Který model skvěle používá tokenizér SentencePiece?
- T5
- GPT-2
- ELMo
- Rukavice
- Jakou výhodu poskytuje SentencePiece záloha na úrovni bajtů?
- Díky tomu je model vlaku rychlejší
- Zaručuje, že jakákoli postava může být reprezentována, čímž se vyhnete chybám mimo slovní zásobu
- Odstraňuje potřebu pozornosti
- Automaticky zdvojnásobí velikost slovní zásoby
- What kind of input can SentencePiece use to train a subword model directly?
- Only text already converted to English word tokens
- Only a fixed dictionary of complete words
- Raw sentences, without first splitting them into word sequences
- Only character-frequency tables with no sentence data
- Why is a language-independent tokenizer useful for multilingual text?
- It translates every input into one language before tokenizing
- It assigns the same meaning to every token in every language
- It removes the need for a model vocabulary
- The same tokenizer pipeline can process scripts without requiring language-specific word segmentation