Що таке Штраф за присутність?

Налаштування декодування, яке зменшує ймовірність появи токенів пропорційно частоті їх появи.

Налаштування декодування, яке знижує ймовірність токенів, які вже створила модель, щоб зменшити кількість циклів.

Стратегія декодування, яка виконує вибірку лише з k найімовірніших наступних токенів.

Стратегія генерації, яка обмежує вихідні маркери дійсними структурами або виборами, сумісними з політикою.

Метод прискорення логічного висновку, коли маленька чернеткова модель пропонує токени, які більша модель перевіряє паралельно.

Збережені тензори ключів і значень із попередніх токенів, які дозволяють трансформаторам генерувати нові токени без повторного обчислення минулої уваги.