What is Inference? Definition | AI Understanding

Definiție

Faza de rulare în care un model antrenat generează predicții sau rezultate.

Termeni înrudiți

Punct final de inferență

O interfață API implementată care primește cereri de model și returnează predicții în producție.

Omul-în-buclă

Un flux de lucru în care oamenii revizuiesc, ghidează sau suprascriu ieșirile AI.

AI constituțional

O abordare de formare și formare a comportamentului în care rezultatele modelului sunt ghidate de un set fix de principii scrise.

Un model mai mic antrenat să imite comportamentul unui model mai mare, folosind mai puține calcule la inferență.

Facturare bazată pe utilizare

Prețuri la care costurile cresc cu apeluri API, token-uri, timp de inferență sau calcul consumat.

Decodare speculativă

O metodă de accelerare a inferenței în care un model nefinalizat propune simboluri pe care un model mai mare le verifică în paralel.

Aflați mai multe în ghidurile noastre gratuite

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

Vezi și

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite