Co jest Strzeżone dekodowanie?

Strategia dekodowania, która pobiera próbki tylko z k najprawdopodobniej kolejnych tokenów.

Strategia dekodowania polegająca na próbkowaniu z najmniejszego zestawu tokenów, którego prawdopodobieństwa sumują się do p.

Logika, która sprawdza i konwertuje dane wyjściowe modelu na struktury o silnym typie, nadające się do użytku maszynowego.

Metoda przyspieszania wnioskowania, w której model o małej wersji roboczej proponuje tokeny, które większy model weryfikuje równolegle.

Ustawienie dekodowania, które zmniejsza prawdopodobieństwo żetonów już wyprodukowanych przez model w celu ograniczenia pętli.

Ustawienie dekodowania, które zmniejsza prawdopodobieństwo pojawienia się tokenów proporcjonalnie do tego, jak często pojawiały się one do tej pory.