学习新闻工具职位使命

人工智能术语

什么是修剪？

定义

删除不太重要的模型权重或神经元以减小尺寸和计算量。

浏览完整的人工智能术语表探索所有免费的人工智能指南

滑动窗口注意一种注意模式，其中每个令牌仅关注附近令牌的固定大小窗口以减少计算。缩放定律一种经验关系，显示性能如何随模型大小、数据或计算而提高。蒸馏模型经过训练的较小模型可以模仿较大模型的行为，同时在推理时使用较少的计算。反向传播核心训练算法通过网络向后传播预测误差来更新模型权重。计算训练和运行模型所需的处理资源，通常以 FLOPS 或 GPU 小时来衡量。渐变一个向量，显示每个参数应改变多少以减少损失。

在我们的免费指南中了解更多信息

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

参见

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System