人工智能术语

什么是 闪光注意?

定义

一种优化的注意力算法，可减少内存使用并加速 Transformer 训练和推理。

相关术语

特征库
一个托管系统，用于一致地存储和提供经过验证的 ML 功能，以进行训练和推理。
反向传播
核心训练算法通过网络向后传播预测误差来更新模型权重。
模型量化
降低模型权重的数值精度以减少内存和推理成本。
变压器
一种神经架构，利用注意力并行地对序列之间的关系进行建模。
训练损失
模型误差值在训练期间计算并随着时间的推移向下优化。
多头注意力
一种并行运行多个注意力操作以捕获不同类型关系的转换器机制。

在我们的免费指南中了解更多信息

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

参见

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
浏览完整的人工智能术语表探索所有免费的人工智能指南