Co je to spekulativní dekódování? Definice | AI Understanding

Definice

Metoda zrychlení inference, kdy malý koncept modelu navrhuje tokeny, které větší model ověřuje paralelně.

Související pojmy

Fakturace podle použití

Ceny, kde se náklady škálují pomocí volání API, tokenů, doby odvození nebo spotřebovaného výpočtu.

Posuvné okno Pozor

Vzor pozornosti, kde se každý token věnuje pouze oknu blízkých tokenů s pevnou velikostí, aby se snížil počet výpočtů.

Fáze běhu, kdy trénovaný model generuje předpovědi nebo výstupy.

RAG (generace rozšířeného vyhledávání)

Metoda, která získává externí znalosti a dodává je do generace v době odvození.

Top-k vzorkování

Strategie dekódování, která vzorkuje pouze z k nejpravděpodobnějších dalších tokenů.

Destilovaný model

Menší model trénovaný tak, aby napodoboval chování většího modelu při použití méně výpočtů při odvození.

Více se dozvíte v našich bezplatných průvodcích

Contrastive Decoding Minimum Bayes Risk Decoding Speculative Sampling Verification Self-Consistency Decoding

Viz také

Zero Data Retention KV Cache MCP (Model Context Protocol)Trust Calibration Agentic Loop Test-Time Compute ReAct Structured Output

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI