人工智能术语

什么是 铝锂?

定义

一种位置偏差方法，根据标记距离惩罚注意力分数，帮助模型推断更长的上下文。

相关术语

RoPE（旋转位置嵌入）
一种位置编码方法，可旋转查询向量和键向量以对相对标记位置进行编码。
位置编码
添加到标记嵌入的信息，以便转换器可以区分序列顺序。
滑动窗口注意
一种注意模式，其中每个令牌仅关注附近令牌的固定大小窗口以减少计算。
算法偏差
由于数据、假设或建模选择的偏差而导致模型输出的系统性不公平。
注意力机制
生成输出时动态关注输入的相关部分的模型组件。
偏差
数据或模型行为中一致的错误或不公平模式。

在我们的免费指南中了解更多信息

ALiBi Position Bias

参见

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
浏览完整的人工智能术语表探索所有免费的人工智能指南