什么是 重复处罚?

一种解码设置，可根据令牌迄今为止出现的频率成比例地降低令牌的概率。

一种解码设置，可降低令牌出现的概率，从而鼓励新主题。

仅从 k 个最有可能的下一个标记中采样的解码策略。

将输出代币限制为有效结构或符合策略的选择的生成策略。

一种推理加速方法，其中小型草稿模型提出令牌，大型模型并行验证。

一种注意模式，其中每个令牌仅关注附近令牌的固定大小窗口以减少计算。