什么是 渐变?

训练超参数控制每个更新步骤的参数变化量。

一种经验关系，显示性能如何随模型大小、数据或计算而提高。

一种注意模式，其中每个令牌仅关注附近令牌的固定大小窗口以减少计算。

生成器和鉴别器相互训练的生成设置。

模型在训练集之外的新的、未见过的数据上的表现如何。

一种向减少误差的方向更新参数的优化方法。