引导式测验 · 中等 等级

WordPiece 标记化测验

回顾WordPiece的词汇和贪婪分割规则，包括它在多语言BERT中的作用以及它与BPE的对比。

相关引导路径词块标记化
问题 1 的 8

WordPiece 输出中的“##”前缀表示什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. WordPiece 输出中的“##”前缀表示什么？
    • 标记是单词内的延续部分，而不是单词首字母
    • 令牌是一个特殊的分隔符，例如 [SEP]
    • 该 token 在词汇表中出现频率最高
    • 该标记是一个未知的词汇表之外的标记
  2. 原始 BERT 使用的 WordPiece 词汇量大约有多大？
    • 约256个代币
    • 约 30,000 个代币
    • 约100万个代币
    • 约500个代币
  3. WordPiece 的合并标准与标准字节对编码有何不同？
    • 它合并最稀有的对以减少词汇量
    • 它从不合并并且只使用字符
    • 它通过最大化训练数据的可能性而不是原始频率来合并
    • 它在训练期间随机合并对
  4. 如果 BERT 风格的 WordPiece 标记器无法将单词拆分为词表片段，它会返回什么？
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. 在推理时，WordPiece如何选择如何分割单词？
    • 它从左到右贪婪地匹配词汇表中最长的子词
    • 它首先选择尽可能短的部分
    • 它尝试所有可能的分割并对它们进行平均
    • 它使用神经网络来预测分裂
  6. WordPiece 与哪个知名模型系列最相关？
    • GPT模型
    • BERT及其衍生品
    • 骆驼模型
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer