什麼是 Top-k 採樣?

一種解碼策略，從機率總和為 p 的最小標記集中進行取樣。

將輸出代幣限制為有效結構或符合策略的選擇的生成策略。

僅從少量範例中學習或適應行為。

語言模型指標，衡量模型對真正的下一個標記的驚訝程度。

一種推理加速方法，其中小型草稿模型提出令牌，大型模型並行驗證。

儲存來自先前令牌的鍵和值張量，使 Transformer 可以產生新令牌而無需重新計算過去的注意力。