人工智能术语

什么是句子片段？

定义

一种与语言无关的分词器，可以直接从原始文本中学习子词单元，而无需在空格上进行预分割。

相关术语

剪辑
一种学习文本和图像之间共享表示的多模态模型架构。
持续学习
让模型不断从新数据中学习而不忘记先验知识的训练方法。
情境学习
模型遵循提示中直接提供的示例中的模式的能力。
意图分类
根据文本查询预测用户的目的以正确路由。
大语言模型（LLM）
在海量文本语料库上训练来生成和分析文本的语言模型。
代币
由语言模型处理的文本块，例如单词或符号。

在我们的免费指南中了解更多信息

SentencePiece Tokenization

参见

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
浏览完整的人工智能术语表探索所有免费的人工智能指南