co je Top-k vzorkování?

Strategie dekódování, která vzorkuje z nejmenší sady tokenů, jejíž pravděpodobnosti jsou součtem p.

Strategie generování, která omezuje výstupní tokeny na platné struktury nebo volby vyhovující zásadám.

Naučit se nebo přizpůsobit chování pouze z malého počtu příkladů.

Metrika jazykového modelu měřící, jak překvapený je model skutečnými dalšími tokeny.

Metoda zrychlení inference, kdy malý koncept modelu navrhuje tokeny, které větší model ověřuje paralelně.

Uložené tenzory klíčů a hodnot z předchozích tokenů, které umožňují transformátorům generovat nové tokeny bez přepočítávání minulé pozornosti.