概述
这提供了跨书写系统的共享输入字母表，同时增加了标准转换器的序列长度。字节潜在转换器 (BLT) 通过根据下一个字节熵将字节分组为可变大小的补丁来解决这一成本；语言知识仍然依赖于训练数据。
深入探讨
字节级模型采用 UTF-8 字节值作为输入，而不是将文本拆分为固定的子词词汇表。 ByT5 表明标准 Transformer 可以对字节序列进行操作，同时还记录了较长序列的权衡。字节潜在转换器 (BLT) 使用下一个字节熵的估计将字节分组为动态大小的补丁。它的主要全局 Transformer 处理补丁表示，具有本地字节级编码器和解码器组件。 BLT 论文报告了高达 8B 参数和 4T 训练字节的计算控制缩放实验；其性能和效率比较仅限于评估的模型和任务。
现实世界的实施
处理不常见的拼写或嘈杂的文本，无需将罕见序列映射到未知标记的标记器
比较多语言字符串如何通过子字标记与原始字节进行分段
使用基于熵的补丁将更多模型计算分配给不可预测的文本
研究字符边界或脚本变化的文本的字节级模型行为
无分词器字节级模型的未来
正在研究无分词器模型，用于处理多语言文本、噪声输入以及词汇设计产生不均匀序列长度的设置。动态修补是管理字节序列计算的一种方法。未来的比较需要匹配的计算预算、语言和训练数据，而不是假设单字节级设计普遍更快或更强大。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是无分词器字节级模型？
无分词器的字节级模型将文本读取为字节而不是固定的字片段标记。这提供了跨书写系统的共享输入字母表，同时增加了标准转换器的序列长度。字节潜在转换器 (BLT) 通过根据下一个字节熵将字节分组为可变大小的补丁来解决这一成本；语言知识仍然依赖于训练数据。
无分词器的字节级模型读取什么作为其输入单元？
字节级模型直接对文本的原始字节进行操作，其中只有 256 个可能的值，无需任何固定的标记词汇表。
将原始字节馈送到标准变压器的主要实际缺点是什么？
几十个标记的段落可能会超过一百个字节，并且注意力成本随着序列长度的增加而增加，因此简单的字节模型很慢。
字节潜在转换器 (BLT) 如何决定将字节分组到补丁中的位置？
BLT 将补丁边界放置在小模型的下一个字节不确定性较高的位置，从而为硬区域提供更多计算并合并可预测的运行。
为什么固定子词词汇表对于某些语言可以使用比其他语言更多的标记？
分词器的生育能力取决于分词器词汇及其训练数据；该数据中较少表示的语言可以分为更多部分。
删除固定分词器对字节级输入有何保证？
字节为文本提供了共享的编码字母表，但模型处理语言的能力仍然取决于它在训练期间学到的内容。