Глоссарий терминов искусственного интеллекта

Что такое Штраф за присутствие?

Определение

Настройка декодирования, которая снижает вероятность появления токенов вообще, поощряя новые темы.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

Штраф за частотуНастройка декодирования, которая снижает вероятность появления токенов пропорционально тому, как часто они появлялись на данный момент.Штраф за повторениеПараметр декодирования, который снижает вероятность токенов, которые модель уже создала, чтобы уменьшить количество циклов.Топ-k выборкаСтратегия декодирования, которая производит выборку только из k наиболее вероятных следующих токенов.Защищенное декодированиеСтратегия генерации, которая ограничивает выходные токены допустимыми структурами или вариантами, совместимыми с политикой.Спекулятивное декодированиеМетод ускорения вывода, при котором небольшая черновая модель предлагает токены, которые параллельно проверяет более крупная модель.КВ-кэшСохраненные тензоры ключей и значений из предыдущих токенов, которые позволяют преобразователям генерировать новые токены без повторного вычисления прошлого внимания.

Узнайте больше в наших бесплатных руководствах.

Repetition Penalty and Decoding Controls

См. также

Beam SearchParent-Document RetrievalMulti-Query RetrievalRAG-FusionSelf-PlayPost-trainingMid-trainingWatermarking