人工智能术语

什么是位置编码？

定义

添加到标记嵌入的信息，以便转换器可以区分序列顺序。

浏览完整的人工智能术语表探索所有免费的人工智能指南

相关术语

RoPE（旋转位置嵌入）一种位置编码方法，可旋转查询向量和键向量以对相对标记位置进行编码。铝锂一种位置偏差方法，根据标记距离惩罚注意力分数，帮助模型推断更长的上下文。参数高效微调 (PEFT)通过训练一小部分添加参数来调整模型的方法。AGI（通用人工智能）一个假设的人工智能系统，可以在许多领域以人类水平执行大多数智力任务。人工智能代理一种可以观察、推理并采取行动来实现目标的软件系统，通常使用工具和内存。注释人工添加的标签或元数据用于训练或评估机器学习模型。

在我们的免费指南中了解更多信息

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

参见

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece