Mi az Top-k Mintavétel?

Egy dekódolási stratégia, amely a legkisebb tokenkészletből vesz mintát, amelynek valószínűségei összege p.

Generációs stratégia, amely a kimeneti tokeneket érvényes struktúrákra vagy házirend-kompatibilis választásokra korlátozza.

A viselkedés tanulása vagy adaptálása csak néhány példából.

Egy nyelvi modell mérőszáma, amely azt méri, mennyire lepte meg a modellt a true next tokenek.

Következtetési gyorsítási módszer, ahol egy kis vázlatmodell tokeneket javasol, amelyeket egy nagyobb modell párhuzamosan ellenőriz.

Tárolt kulcs- és értéktenzorok a korábbi tokenekből, amelyek lehetővé teszik a transzformátorok számára, hogy új tokeneket generáljanak a korábbi figyelem újraszámítása nélkül.