Какво е Защитено декодиране?

Стратегия за декодиране, която взема проби само от k най-вероятните следващи токена.

Стратегия за декодиране, която взема проби от най-малкия набор от символи, чиято сума на вероятностите е p.

Логика, която валидира и преобразува изхода на модела в строго типизирани, машинно използваеми структури.

Метод за ускоряване на извода, при който малък чернови модел предлага токени, които по-голям модел проверява паралелно.

Настройка за декодиране, която намалява вероятността за токени, които моделът вече е произвел, за да намали циклите.

Настройка за декодиране, която намалява вероятността за токени пропорционално на това колко често са се появявали досега.