Co je inference? Definice | AI Understanding

Definice

Fáze běhu, kdy trénovaný model generuje předpovědi nebo výstupy.

Související pojmy

Koncový bod odvození

Nasazené rozhraní API, které přijímá požadavky na model a vrací předpovědi v produkci.

Člověk v slučce

Pracovní postup, kde lidé kontrolují, vedou nebo přepisují výstupy AI.

Tréninkový a behaviorální přístup, kde se výstupy modelu řídí pevně daným souborem písemných principů.

Destilovaný model

Menší model trénovaný tak, aby napodoboval chování většího modelu při použití méně výpočtů při odvození.

Fakturace podle použití

Ceny, kde se náklady škálují pomocí volání API, tokenů, doby odvození nebo spotřebovaného výpočtu.

Spekulativní dekódování

Metoda zrychlení inference, kdy malý koncept modelu navrhuje tokeny, které větší model ověřuje paralelně.

Více se dozvíte v našich bezplatných průvodcích

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

Viz také

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI