Cos'è Campionamento Top-k?

Una strategia di decodifica che campiona dal set di token più piccolo la cui somma delle probabilità è p.

Una strategia di generazione che vincola i token di output a strutture valide o scelte conformi alle politiche.

Apprendere o adattare il comportamento solo da un numero limitato di esempi.

Una metrica del modello linguistico che misura quanto il modello è sorpreso dai veri token successivi.

Un metodo di accelerazione dell'inferenza in cui una piccola bozza di modello propone token che un modello più grande verifica in parallelo.

Tensori di chiave e valore memorizzati da token precedenti che consentono ai trasformatori di generare nuovi token senza ricalcolare l'attenzione passata.