What is Frequency Penalty? Definition | AI Understanding

定義

一種解碼設置，可根據令牌迄今為止出現的頻率成比例地降低令牌的機率。

相關術語

一種解碼設置，可降低令牌出現的機率，從而鼓勵新主題。

一種解碼設置，可降低模型已產生的令牌的機率，以減少循環。

語言模型指標，衡量模型對真正的下一個標記的驚訝程度。

僅從 k 個最有可能的下一個標記中採樣的解碼策略。

將輸出代幣限制為有效結構或符合策略的選擇的生成策略。

推測性解碼

一種推理加速方法，其中小型草稿模型提出令牌，大型模型並行驗證。

在我們的免費指南中了解更多信息

Repetition Penalty and Decoding Controls Mel-Frequency Cepstral Coefficients

參見

Beam Search Parent-Document Retrieval Multi-Query Retrieval RAG-Fusion Self-Play Post-training Mid-training Watermarking

瀏覽完整的人工智慧術語表探索所有免費的人工智慧指南