Nauka Wiadomości Narzędzia Oferty pracy Misja

Termin ze słownika AI

Czym jest Strzeżone dekodowanie?

Definicja

Strategia generowania, która ogranicza tokeny wyjściowe do prawidłowych struktur lub wyborów zgodnych z zasadami.

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI

Próbkowanie z góry kStrategia dekodowania, która pobiera próbki tylko z k najprawdopodobniej kolejnych tokenów.Próbkowanie z góry p (jądro).Strategia dekodowania polegająca na próbkowaniu z najmniejszego zestawu tokenów, którego prawdopodobieństwa sumują się do p.Parser wyjściowyLogika, która sprawdza i konwertuje dane wyjściowe modelu na struktury o silnym typie, nadające się do użytku maszynowego.Dekodowanie spekulatywneMetoda przyspieszania wnioskowania, w której model o małej wersji roboczej proponuje tokeny, które większy model weryfikuje równolegle.Kara za powtórzenieUstawienie dekodowania, które zmniejsza prawdopodobieństwo żetonów już wyprodukowanych przez model w celu ograniczenia pętli.Kara za częstotliwośćUstawienie dekodowania, które zmniejsza prawdopodobieństwo pojawienia się tokenów proporcjonalnie do tego, jak często pojawiały się one do tej pory.

Dowiedz się więcej z naszych bezpłatnych przewodników

Contrastive Decoding Minimum Bayes Risk Decoding Self-Consistency Decoding Medusa Decoding Heads

Zobacz także

Groundedness Human Preference Model Feature Store Inference Endpoint Eval Harness Knowledge Base Embedding Model Latent Space