Cos'è Penalità di presenza?

Un'impostazione di decodifica che riduce la probabilità dei token proporzionalmente alla frequenza con cui sono apparsi finora.

Un'impostazione di decodifica che riduce la probabilità dei token già prodotti dal modello per ridurre i loop.

Una strategia di decodifica che campiona solo dai k token successivi più probabili.

Una strategia di generazione che vincola i token di output a strutture valide o scelte conformi alle politiche.

Un metodo di accelerazione dell'inferenza in cui una piccola bozza di modello propone token che un modello più grande verifica in parallelo.

Tensori di chiave e valore memorizzati da token precedenti che consentono ai trasformatori di generare nuovi token senza ricalcolare l'attenzione passata.