Vad är Närvarostraff?

En avkodningsinställning som minskar sannolikheten för tokens proportionellt mot hur ofta de har dykt upp hittills.

En avkodningsinställning som sänker sannolikheten för tokens som modellen redan har producerat för att minska loopar.

En avkodningsstrategi som endast samplar från de k mest sannolika nästa tokens.

En genereringsstrategi som begränsar utdatatokens till giltiga strukturer eller policykompatibla val.

En inferensaccelerationsmetod där ett litet utkast till modell föreslår tokens som en större modell verifierar parallellt.

Lagrade nyckel- och värdetensorer från tidigare tokens som låter transformatorer generera nya tokens utan att räkna om tidigare uppmärksamhet.