Termin ze słownika AI

Czym jest Dekodowanie spekulatywne?

Definicja

Metoda przyspieszania wnioskowania, w której model o małej wersji roboczej proponuje tokeny, które większy model weryfikuje równolegle.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

Rozliczenia oparte na wykorzystaniuCeny, w których koszty skalują się w zależności od wywołań API, tokenów, czasu wnioskowania lub zużytych mocy obliczeniowych.Uwaga na przesuwane oknoWzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.WnioskowanieFaza środowiska uruchomieniowego, w której przeszkolony model generuje prognozy lub dane wyjściowe.RAG (generacja wspomagana odzyskiwaniem)Metoda, która pobiera wiedzę zewnętrzną i przekazuje ją do generowania w momencie wnioskowania.Próbkowanie z góry kStrategia dekodowania, która pobiera próbki tylko z k najprawdopodobniej kolejnych tokenów.Destylowany modelMniejszy model wyszkolony do naśladowania zachowania większego modelu przy mniejszym wykorzystaniu mocy obliczeniowej przy wnioskowaniu.

Dowiedz się więcej z naszych bezpłatnych przewodników

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Zobacz także

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output