Что такое Защищенное декодирование?

Стратегия декодирования, которая производит выборку только из k наиболее вероятных следующих токенов.

Стратегия декодирования, которая производит выборку из наименьшего набора токенов, сумма вероятностей которых равна p.

Логика, которая проверяет и преобразует выходные данные модели в строго типизированные структуры, пригодные для машинного использования.

Метод ускорения вывода, при котором небольшая черновая модель предлагает токены, которые параллельно проверяет более крупная модель.

Параметр декодирования, который снижает вероятность токенов, которые модель уже создала, чтобы уменьшить количество циклов.

Настройка декодирования, которая снижает вероятность появления токенов пропорционально тому, как часто они появлялись на данный момент.