引导式测验 · 中等 等级

无分词器的字节级模型测验

了解原始字节语言模型、BLT 基于熵的补丁，以及删除固定标记词汇的效率和覆盖率权衡。

相关引导路径分词器免费字节级模型
问题 1 的 8

无分词器的字节级模型读取什么作为其输入单元？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 无分词器的字节级模型读取什么作为其输入单元？
    • 原始字节（UTF-8 值 0-255）
    • 来自固定词汇表的单词子词
    • 整个单词用空格分隔
    • 仅预先计算的嵌入
  2. 将原始字节馈送到标准变压器的主要实际缺点是什么？
    • 字节不能代表非英文文本
    • 序列变得更长，计算成本增加
    • 有太多可能的字节值需要嵌入
    • 字节永久失去所有单词含义
  3. 字节潜在转换器 (BLT) 如何决定将字节分组到补丁中的位置？
    • 通过分割每个空格字符
    • 使用 4 字节的固定补丁大小
    • 基于字节级预测熵（不确定性）
    • 在每次前向传播过程中随机
  4. 为什么固定子词词汇表对于某些语言可以使用比其他语言更多的标记？
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. 删除固定分词器对字节级输入有何保证？
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. 哪个早期模型展示了字节级处理，但因速度慢而受到批评？
    • 伯特
    • 通过T5
    • 词向量
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • 图像像素
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder