引導式測驗 · 中等 等級
SentencePiece 標記化測驗
查看 SentencePiece 的原始文本訓練、可逆間距、詞彙演算法和多語言文本處理的位元組回退。
問題 1 的 8
SentencePiece 避免了傳統分詞器所依賴的哪些關鍵假設?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- SentencePiece 避免了傳統分詞器所依賴的哪些關鍵假設?
- 單字之間用空格分隔
- 該文本以 UTF-8 編碼
- 句子以標點符號結尾
- 詞彙量是預先固定的
- 為什麼 SentencePiece 要用可見的元符號替換空格?
- 更積極地壓縮文本
- 使標記化完全可逆(無損)
- 自動刪除所有標點符號
- 在語言之間進行翻譯
- SentencePiece 主要支援哪兩種演算法?
- TF-IDF 和 Word2Vec
- LSTM 和 CNN
- BPE 和 Unigram 語言模型
- K 均值和 PCA
- Unigram 模型如何建構詞彙?
- 透過開始清空並合併頻繁的字元對
- 透過抄一本英語詞典
- 使用 1,000 個單字的固定列表
- 通過 EM 從大的開始並修剪最無用的部分
- 哪個模型著名地使用了 SentencePiece 分詞器?
- T5
- GPT-2
- ELMo
- 手套
- 位元組級回退為 SentencePiece 帶來什麼優勢?
- 它使模型訓練速度更快
- 它保證可以表示任何字符,避免詞彙表以外的失敗
- 它消除了關注的需要
- 它會自動將詞彙量加倍
- What kind of input can SentencePiece use to train a subword model directly?
- Only text already converted to English word tokens
- Only a fixed dictionary of complete words
- Raw sentences, without first splitting them into word sequences
- Only character-frequency tables with no sentence data
- Why is a language-independent tokenizer useful for multilingual text?
- It translates every input into one language before tokenizing
- It assigns the same meaning to every token in every language
- It removes the need for a model vocabulary
- The same tokenizer pipeline can process scripts without requiring language-specific word segmentation