Co jest Kara za obecność?

Ustawienie dekodowania, które zmniejsza prawdopodobieństwo pojawienia się tokenów proporcjonalnie do tego, jak często pojawiały się one do tej pory.

Ustawienie dekodowania, które zmniejsza prawdopodobieństwo żetonów już wyprodukowanych przez model w celu ograniczenia pętli.

Strategia dekodowania, która pobiera próbki tylko z k najprawdopodobniej kolejnych tokenów.

Strategia generowania, która ogranicza tokeny wyjściowe do prawidłowych struktur lub wyborów zgodnych z zasadami.

Metoda przyspieszania wnioskowania, w której model o małej wersji roboczej proponuje tokeny, które większy model weryfikuje równolegle.

Przechowywane tensory klucza i wartości z poprzednich tokenów, które pozwalają transformatorom generować nowe tokeny bez ponownego obliczania uwagi z przeszłości.