Глоссарий терминов искусственного интеллекта

Что такое Защищенное декодирование?

Определение

Стратегия генерации, которая ограничивает выходные токены допустимыми структурами или вариантами, совместимыми с политикой.

Топ-k выборкаСтратегия декодирования, которая производит выборку только из k наиболее вероятных следующих токенов.Выборка Top-p (ядра)Стратегия декодирования, которая производит выборку из наименьшего набора токенов, сумма вероятностей которых равна p.Выходной анализаторЛогика, которая проверяет и преобразует выходные данные модели в строго типизированные структуры, пригодные для машинного использования.Спекулятивное декодированиеМетод ускорения вывода, при котором небольшая черновая модель предлагает токены, которые параллельно проверяет более крупная модель.Штраф за повторениеПараметр декодирования, который снижает вероятность токенов, которые модель уже создала, чтобы уменьшить количество циклов.Штраф за частотуНастройка декодирования, которая снижает вероятность появления токенов пропорционально тому, как часто они появлялись на данный момент.

Узнайте больше в наших бесплатных руководствах.

См. также