什么是 Top-k 采样?

一种解码策略，从概率总和为 p 的最小标记集中进行采样。

将输出代币限制为有效结构或符合策略的选择的生成策略。

仅从少量示例中学习或适应行为。

一种语言模型指标，衡量模型对真正的下一个标记的惊讶程度。

一种推理加速方法，其中小型草稿模型提出令牌，大型模型并行验证。

存储来自先前令牌的键和值张量，使 Transformer 可以生成新令牌而无需重新计算过去的注意力。