引导式测验 · 中等 等级

代币化测验

测试令牌单元、子字分割、字符计数、精确编码、令牌预算、语言相关分段、ID 兼容性和填充。

相关引导路径代币化
问题 1 的 8

语言模型中的 Token（标记）应如何与可见的单词或字符进行区分？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 语言模型中的 Token（标记）应如何与可见的单词或字符进行区分？
    • 它必须始终等于一个完整的英文单词
    • 它是分词器定义的单元，可能跨越一个单词、子词、字符或基于字节的片段
    • 它必须始终等于一个可见的 Unicode 字符
    • 它必然是一个 API 访问密码
  2. 哪个家族包含了 BPE、WordPiece 和 Unigram 分词方法？
    • 仅限整句词汇表
    • 仅限固定的图像像素编码
    • 子词分词方法
    • 仅限按字母顺序排列的单词
  3. 为什么 Token 数量可能与同一文本中可见字符的数量不同？
    • 一个 Token 可以包含多个字符或基于字节的片段
    • 每个分词器都会在编码前删除元音
    • 每个字符必须精确映射到十个 ID
    • 分词总是用图像替换单词
  4. 对于指定的语言模型和编码设置，应如何获得精确的输入 Token 数量？
    • 将每个单词计数乘以一个固定的通用数字
    • 仅计算句末句号
    • 假设每个英文单词正好是一个 Token
    • 使用其匹配的分词器进行编码并计算生成的 ID
  5. 对于测量 Token 上下文容量和使用情况的界面，为什么其特定于分词器的计数很重要？
    • 它保证所有界面使用相同的定价
    • 它证明每个输入都有相同的单词计数
    • 它决定了输入在这些基于 Token 的限制或使用规则下如何计算
    • 它只会改变显示的字体
  6. Why can comparable text segment into different numbers of pieces under different tokenizer vocabularies?
    • Every language necessarily has the same learned vocabulary
    • The available pieces and preprocessing can differ
    • Each tokenizer must use one ID for every sentence
    • Changing languages always leaves every segmentation unchanged
  7. Why does an identical integer ID in two tokenizer vocabularies not establish model-input compatibility?
    • All vocabularies share a globally fixed ID-to-piece table
    • IDs themselves encode a universal dictionary definition
    • A vocabulary contains only token counts and no mappings
    • The two mappings can assign that number to different pieces
  8. How does padding differ from truncation when preparing token sequences?
    • Padding adds filler positions; truncation removes positions under a length rule
    • Padding removes the longest sequence; truncation adds filler
    • Both operations necessarily select the most informative words
    • Both change only the numerical ID vocabulary without changing sequence length