引导式测验 · 中等 等级

标记化和字节对编码测验

测试令牌 ID、基于频率的 BPE 合并、字节级覆盖率、合并顺序以及令牌计数与字数计数不同的原因。

相关引导路径标记化和字节对编码
问题 1 的 8

标记化会产生什么供语言模型读取？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 标记化会产生什么供语言模型读取？
    • 令牌，是映射到文本片段的整数 ID
    • 原始音频波形
    • 像素网格
    • 编译后的机器码
  2. 字节对编码如何构建其词汇表？
    • 通过为字典中的每个整个单词分配一个标记
    • 通过重复合并最频繁的相邻符号对
    • 通过随机分组字符
    • 首先将文本翻译成另一种语言
  3. 与字级标记化相比，BPE 等子字方法能解决什么问题？
    • 他们使每个句子都成为一个标记
    • 它们消除了对任何词汇的需要
    • 他们通过将罕见或看不见的单词分成可重复使用的片段来处理它们
    • 他们只为英语工作
  4. GPT 模型中使用的字节级 BPE 有什么优点？
    • 对于所有语言，它使用的标记比任何其他方法都要少
    • 它消除了训练模型的需要
    • 它只编码英文字母
    • 它可以表示任何 Unicode 文本，包括表情符号和任何语言，不会出现词汇表之外的错误
  5. 为什么模型的标记计数通常与句子中的单词数不同？
    • 空格、大写和罕见单词会改变文本的分割方式，一个单词可以变成多个标记
    • 令牌以随机语言计算
    • 每个单词始终恰好是两个标记
    • 令牌计数仅取决于标点符号
  6. 字节对编码算法最初是从哪个领域借用的？
    • 图像渲染
    • 数据压缩
    • 数据库索引
    • 密码学
  7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
    • A new merge ranking learned separately for each sentence
    • A dictionary of whole words only
    • The learned vocabulary and ordered merge rules applied to the input symbols
    • A translation table that changes the text language
  8. Why can byte-level BPE encode a character it never saw as a whole token during training?
    • The tokenizer invents new model parameters for each character
    • It drops every unseen character
    • The model automatically translates it to English first
    • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet