引导式测验 · 中等 等级

SentencePiece 标记化测验

查看 SentencePiece 的原始文本训练、可逆间距、词汇算法和多语言文本处理的字节回退。

相关引导路径句子标记化
问题 1 的 8

SentencePiece 避免了传统分词器所依赖的哪些关键假设？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. SentencePiece 避免了传统分词器所依赖的哪些关键假设？
    • 单词之间用空格分隔
    • 该文本以 UTF-8 编码
    • 句子以标点符号结尾
    • 词汇量是预先固定的
  2. 为什么 SentencePiece 用可见的元符号替换空格？
    • 更积极地压缩文本
    • 使标记化完全可逆（无损）
    • 自动删除所有标点符号
    • 在语言之间进行翻译
  3. SentencePiece 主要支持哪两种算法？
    • TF-IDF 和 Word2Vec
    • LSTM 和 CNN
    • BPE 和 Unigram 语言模型
    • K 均值和 PCA
  4. Unigram 模型如何构建词汇？
    • 通过开始清空并合并频繁的字符对
    • 通过抄一本英语词典
    • 使用 1,000 个单词的固定列表
    • 通过 EM 从大的开始并修剪最无用的部分
  5. 哪个模型著名地使用了 SentencePiece 分词器？
    • T5
    • GPT-2
    • ELMo
    • 手套
  6. 字节级回退给 SentencePiece 带来什么优势？
    • 它使模型训练速度更快
    • 它保证可以表示任何字符，避免词汇表之外的失败
    • 它消除了关注的需要
    • 它会自动将词汇量加倍
  7. What kind of input can SentencePiece use to train a subword model directly?
    • Only text already converted to English word tokens
    • Only a fixed dictionary of complete words
    • Raw sentences, without first splitting them into word sequences
    • Only character-frequency tables with no sentence data
  8. Why is a language-independent tokenizer useful for multilingual text?
    • It translates every input into one language before tokenizing
    • It assigns the same meaning to every token in every language
    • It removes the need for a model vocabulary
    • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation