人工智能术语

什么是句子片段？

定义

一种与语言无关的分词器，可以直接从原始文本中学习子词单元，而无需在空格上进行预分割。

浏览完整的人工智能术语表探索所有免费的人工智能指南

相关术语

剪辑一种学习文本和图像之间共享表示的多模态模型架构。持续学习让模型不断从新数据中学习而不忘记先验知识的训练方法。情境学习模型遵循提示中直接提供的示例中的模式的能力。意图分类根据文本查询预测用户的目的以正确路由。大语言模型（LLM）在海量文本语料库上训练来生成和分析文本的语言模型。代币由语言模型处理的文本块，例如单词或符号。

在我们的免费指南中了解更多信息

SentencePiece Tokenization

参见

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search