Hva er Gjentakelsesstraff?

En dekodingsinnstilling som reduserer sannsynligheten for tokens proporsjonalt med hvor ofte de har dukket opp så langt.

En dekodingsinnstilling som reduserer sannsynligheten for at tokens i det hele tatt har dukket opp, og oppmuntrer til nye emner.

En dekodingsstrategi som prøver bare fra de k mest sannsynlig neste tokene.

En generasjonsstrategi som begrenser utdatatokens til gyldige strukturer eller policy-kompatible valg.

En inferensakselerasjonsmetode der et lite utkast til modell foreslår tokens som en større modell verifiserer parallelt.

Et oppmerksomhetsmønster der hvert token kun passer på et vindu med fast størrelse av tokens i nærheten for å redusere beregningen.