Что такое Топ-k выборка?

Стратегия декодирования, которая производит выборку из наименьшего набора токенов, сумма вероятностей которых равна p.

Стратегия генерации, которая ограничивает выходные токены допустимыми структурами или вариантами, совместимыми с политикой.

Обучение или адаптация поведения лишь на небольшом количестве примеров.

Метрика языковой модели, измеряющая, насколько модель удивлена ​​истинными следующими токенами.

Метод ускорения вывода, при котором небольшая черновая модель предлагает токены, которые параллельно проверяет более крупная модель.

Сохраненные тензоры ключей и значений из предыдущих токенов, которые позволяют преобразователям генерировать новые токены без повторного вычисления прошлого внимания.