Mi az Jelenléti büntetés?

Egy dekódolási beállítás, amely az eddigi megjelenésük gyakoriságával arányosan csökkenti a tokenek valószínűségét.

Egy dekódolási beállítás, amely csökkenti a modell által már előállított tokenek valószínűségét a hurkok csökkentése érdekében.

Dekódolási stratégia, amely csak a k legvalószínűbb következő tokenből vesz mintát.

Generációs stratégia, amely a kimeneti tokeneket érvényes struktúrákra vagy házirend-kompatibilis választásokra korlátozza.

Következtetési gyorsítási módszer, ahol egy kis vázlatmodell tokeneket javasol, amelyeket egy nagyobb modell párhuzamosan ellenőriz.

Tárolt kulcs- és értéktenzorok a korábbi tokenekből, amelyek lehetővé teszik a transzformátorok számára, hogy új tokeneket generáljanak a korábbi figyelem újraszámítása nélkül.