Cos'è Decodifica custodita?

Una strategia di decodifica che campiona solo dai k token successivi più probabili.

Una strategia di decodifica che campiona dal set di token più piccolo la cui somma delle probabilità è p.

Logica che convalida e converte l'output del modello in strutture fortemente tipizzate e utilizzabili dalla macchina.

Un metodo di accelerazione dell'inferenza in cui una piccola bozza di modello propone token che un modello più grande verifica in parallelo.

Un'impostazione di decodifica che riduce la probabilità dei token già prodotti dal modello per ridurre i loop.

Un'impostazione di decodifica che riduce la probabilità dei token proporzionalmente alla frequenza con cui sono apparsi finora.