Co je Trest za přítomnost?

Nastavení dekódování, které snižuje pravděpodobnost tokenů úměrně tomu, jak často se dosud objevovaly.

Nastavení dekódování, které snižuje pravděpodobnost tokenů, které již model vytvořil, aby se omezily smyčky.

Strategie dekódování, která vzorkuje pouze z k nejpravděpodobnějších dalších tokenů.

Strategie generování, která omezuje výstupní tokeny na platné struktury nebo volby vyhovující zásadám.

Metoda zrychlení inference, kdy malý koncept modelu navrhuje tokeny, které větší model ověřuje paralelně.

Uložené tenzory klíčů a hodnot z předchozích tokenů, které umožňují transformátorům generovat nové tokeny bez přepočítávání minulé pozornosti.