什么是 保护解码?

仅从 k 个最有可能的下一个标记中采样的解码策略。

一种解码策略，从概率总和为 p 的最小标记集中进行采样。

验证模型输出并将其转换为强类型、机器可用结构的逻辑。

一种推理加速方法，其中小型草稿模型提出令牌，大型模型并行验证。

一种解码设置，可降低模型已生成的令牌的概率，以减少循环。

一种解码设置，可根据令牌迄今为止出现的频率成比例地降低令牌的概率。