引導式測驗 · 中等 等級

SentencePiece 標記化測驗

查看 SentencePiece 的原始文本訓練、可逆間距、詞彙演算法和多語言文本處理的位元組回退。

相關引導路徑句子標記化
問題 1 的 8

SentencePiece 避免了傳統分詞器所依賴的哪些關鍵假設?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. SentencePiece 避免了傳統分詞器所依賴的哪些關鍵假設?
    • 單字之間用空格分隔
    • 該文本以 UTF-8 編碼
    • 句子以標點符號結尾
    • 詞彙量是預先固定的
  2. 為什麼 SentencePiece 要用可見的元符號替換空格?
    • 更積極地壓縮文本
    • 使標記化完全可逆(無損)
    • 自動刪除所有標點符號
    • 在語言之間進行翻譯
  3. SentencePiece 主要支援哪兩種演算法?
    • TF-IDF 和 Word2Vec
    • LSTM 和 CNN
    • BPE 和 Unigram 語言模型
    • K 均值和 PCA
  4. Unigram 模型如何建構詞彙?
    • 透過開始清空並合併頻繁的字元對
    • 透過抄一本英語詞典
    • 使用 1,000 個單字的固定列表
    • 通過 EM 從大的開始並修剪最無用的部分
  5. 哪個模型著名地使用了 SentencePiece 分詞器?
    • T5
    • GPT-2
    • ELMo
    • 手套
  6. 位元組級回退為 SentencePiece 帶來什麼優勢?
    • 它使模型訓練速度更快
    • 它保證可以表示任何字符,避免詞彙表以外的失敗
    • 它消除了關注的需要
    • 它會自動將詞彙量加倍
  7. What kind of input can SentencePiece use to train a subword model directly?
    • Only text already converted to English word tokens
    • Only a fixed dictionary of complete words
    • Raw sentences, without first splitting them into word sequences
    • Only character-frequency tables with no sentence data
  8. Why is a language-independent tokenizer useful for multilingual text?
    • It translates every input into one language before tokenizing
    • It assigns the same meaning to every token in every language
    • It removes the need for a model vocabulary
    • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation