co je Opakování trestu?

Nastavení dekódování, které snižuje pravděpodobnost tokenů úměrně tomu, jak často se dosud objevovaly.

Nastavení dekódování, které snižuje pravděpodobnost, že se tokeny vůbec objevily, a podněcují nová témata.

Strategie dekódování, která vzorkuje pouze z k nejpravděpodobnějších dalších tokenů.

Strategie generování, která omezuje výstupní tokeny na platné struktury nebo volby vyhovující zásadám.

Metoda zrychlení inference, kdy malý koncept modelu navrhuje tokeny, které větší model ověřuje paralelně.

Vzor pozornosti, kde se každý token věnuje pouze oknu blízkých tokenů s pevnou velikostí, aby se snížil počet výpočtů.