学习
新闻
工具
Jobs
术语表
认证
测验
使命
支持
English
Search
⌘K
提交工具
捐赠
English
Search
⌘K
学习
AI Guides & Foundations
新闻
Latest AI Developments
工具
Top AI Directory
Jobs
AI Hiring Board
术语表
AI Terms Dictionary
认证
Get Your AI Certificate
测验
Interactive AI Assessments
使命
Why We Exist
支持
Help and Contact
提交工具
捐赠
English
← 返回所有测验
引导式测验 • 中等 级别 • 6 问题
WordPiece 标记化测验
测试您对 WordPiece 如何分割文本及其使用原因的理解。
相关引导路径
词块标记化
问题 1 的 6
正确: 0
WordPiece 输出中的“##”前缀表示什么?
需要提示吗?
标记是单词内的延续部分,而不是单词首字母
令牌是一个特殊的分隔符,例如 [SEP]
该 token 在词汇表中出现频率最高
该标记是一个未知的词汇表之外的标记