What is Speculative Decoding? Definition | AI Understanding

Definicja

Metoda przyspieszania wnioskowania, w której model o małej wersji roboczej proponuje tokeny, które większy model weryfikuje równolegle.

Powiązane terminy

Rozliczenia oparte na wykorzystaniu

Ceny, w których koszty skalują się w zależności od wywołań API, tokenów, czasu wnioskowania lub zużytych mocy obliczeniowych.

Uwaga na przesuwane okno

Wzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.

Faza środowiska uruchomieniowego, w której przeszkolony model generuje prognozy lub dane wyjściowe.

RAG (generacja wspomagana odzyskiwaniem)

Metoda, która pobiera wiedzę zewnętrzną i przekazuje ją do generowania w momencie wnioskowania.

Próbkowanie z góry k

Strategia dekodowania, która pobiera próbki tylko z k najprawdopodobniej kolejnych tokenów.

Destylowany model

Mniejszy model wyszkolony do naśladowania zachowania większego modelu przy mniejszym wykorzystaniu mocy obliczeniowej przy wnioskowaniu.

Dowiedz się więcej z naszych bezpłatnych przewodników

Contrastive Decoding Minimum Bayes Risk Decoding Speculative Sampling Verification Self-Consistency Decoding

Zobacz także

Zero Data Retention KV Cache MCP (Model Context Protocol)Trust Calibration Agentic Loop Test-Time Compute ReAct Structured Output

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI