什麼是 出席處罰?

一種解碼設置，可根據令牌迄今為止出現的頻率成比例地降低令牌的機率。

一種解碼設置，可降低模型已產生的令牌的機率，以減少循環。

僅從 k 個最有可能的下一個標記中採樣的解碼策略。

將輸出代幣限制為有效結構或符合策略的選擇的生成策略。

一種推理加速方法，其中小型草稿模型提出令牌，大型模型並行驗證。

儲存來自先前令牌的鍵和值張量，使 Transformer 可以產生新令牌而無需重新計算過去的注意力。