Какво е Наказание за присъствие?

Настройка за декодиране, която намалява вероятността за токени пропорционално на това колко често са се появявали досега.

Настройка за декодиране, която намалява вероятността за токени, които моделът вече е произвел, за да намали циклите.

Стратегия за декодиране, която взема проби само от k най-вероятните следващи токена.

Стратегия за генериране, която ограничава изходните токени до валидни структури или съвместими с правилата избори.

Метод за ускоряване на извода, при който малък чернови модел предлага токени, които по-голям модел проверява паралелно.

Съхранени тензори на ключове и стойности от предишни токени, които позволяват на трансформаторите да генерират нови токени, без да преизчисляват миналото внимание.