Що є Штраф за повторення?

Налаштування декодування, яке зменшує ймовірність появи токенів пропорційно частоті їх появи.

Налаштування декодування, яке зменшує ймовірність появи жетонів взагалі, заохочуючи нові теми.

Стратегія декодування, яка виконує вибірку лише з k найімовірніших наступних токенів.

Стратегія генерації, яка обмежує вихідні маркери дійсними структурами або виборами, сумісними з політикою.

Метод прискорення логічного висновку, коли маленька чернеткова модель пропонує токени, які більша модель перевіряє паралельно.

Шаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.