Что такое Штраф за присутствие?

Настройка декодирования, которая снижает вероятность появления токенов пропорционально тому, как часто они появлялись на данный момент.

Параметр декодирования, который снижает вероятность токенов, которые модель уже создала, чтобы уменьшить количество циклов.

Стратегия декодирования, которая производит выборку только из k наиболее вероятных следующих токенов.

Стратегия генерации, которая ограничивает выходные токены допустимыми структурами или вариантами, совместимыми с политикой.

Метод ускорения вывода, при котором небольшая черновая модель предлагает токены, которые параллельно проверяет более крупная модель.

Сохраненные тензоры ключей и значений из предыдущих токенов, которые позволяют преобразователям генерировать новые токены без повторного вычисления прошлого внимания.