什麼是 保護解碼?

僅從 k 個最有可能的下一個標記中採樣的解碼策略。

一種解碼策略，從機率總和為 p 的最小標記集中進行取樣。

驗證模型輸出並將其轉換為強型別、機器可用結構的邏輯。

一種推理加速方法，其中小型草稿模型提出令牌，大型模型並行驗證。

一種解碼設置，可降低模型已產生的令牌的機率，以減少循環。

一種解碼設置，可根據令牌迄今為止出現的頻率成比例地降低令牌的機率。