Co jest Próbkowanie z góry k?

Strategia dekodowania polegająca na próbkowaniu z najmniejszego zestawu tokenów, którego prawdopodobieństwa sumują się do p.

Strategia generowania, która ogranicza tokeny wyjściowe do prawidłowych struktur lub wyborów zgodnych z zasadami.

Uczenie się lub dostosowywanie zachowań na podstawie niewielkiej liczby przykładów.

Metryka modelu językowego mierząca stopień zaskoczenia modelu prawdziwymi następnymi tokenami.

Metoda przyspieszania wnioskowania, w której model o małej wersji roboczej proponuje tokeny, które większy model weryfikuje równolegle.

Przechowywane tensory klucza i wartości z poprzednich tokenów, które pozwalają transformatorom generować nowe tokeny bez ponownego obliczania uwagi z przeszłości.