Какво е Наказание за повторение?

Настройка за декодиране, която намалява вероятността за токени пропорционално на това колко често са се появявали досега.

Настройка за декодиране, която намалява вероятността токените да са се появили изобщо, насърчавайки нови теми.

Стратегия за декодиране, която взема проби само от k най-вероятните следващи токена.

Стратегия за генериране, която ограничава изходните токени до валидни структури или съвместими с правилата избори.

Метод за ускоряване на извода, при който малък чернови модел предлага токени, които по-голям модел проверява паралелно.

Модел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.