Cos'è Penalità di frequenza?

Un'impostazione di decodifica che riduce la probabilità che i token siano apparsi, incoraggiando nuovi argomenti.

Un'impostazione di decodifica che riduce la probabilità dei token già prodotti dal modello per ridurre i loop.

Una metrica del modello linguistico che misura quanto il modello è sorpreso dai veri token successivi.

Una strategia di decodifica che campiona solo dai k token successivi più probabili.

Una strategia di generazione che vincola i token di output a strutture valide o scelte conformi alle politiche.

Un metodo di accelerazione dell'inferenza in cui una piccola bozza di modello propone token che un modello più grande verifica in parallelo.