标记化和字节对编码测验

测试您对文本如何成为标记以及 BPE 如何构建词汇表的了解。