Vad är Top-k Sampling?

En avkodningsstrategi som samplar från den minsta tokenuppsättningen vars sannolikheter summeras till p.

En genereringsstrategi som begränsar utdatatokens till giltiga strukturer eller policykompatibla val.

Att lära sig eller anpassa beteendet från endast ett litet antal exempel.

Ett språkmodellmått som mäter hur överraskad modellen är av sanna nästa tokens.

En inferensaccelerationsmetod där ett litet utkast till modell föreslår tokens som en större modell verifierar parallellt.

Lagrade nyckel- och värdetensorer från tidigare tokens som låter transformatorer generera nya tokens utan att räkna om tidigare uppmärksamhet.