什么是 修剪?

一种注意模式，其中每个令牌仅关注附近令牌的固定大小窗口以减少计算。

一种经验关系，显示性能如何随模型大小、数据或计算而提高。

经过训练的较小模型可以模仿较大模型的行为，同时在推理时使用较少的计算。

核心训练算法通过网络向后传播预测误差来更新模型权重。

训练和运行模型所需的处理资源，通常以 FLOPS 或 GPU 小时来衡量。

一个向量，显示每个参数应改变多少以减少损失。