AI Ordliste Term

Hva er Inferens?

Definisjon

Kjøretidsfasen der en trent modell genererer spådommer eller utdata.

Relaterte vilkår

Sluttpunkt for slutning
Et distribuert API-grensesnitt som mottar modellforespørsler og returnerer spådommer i produksjon.
Menneske-i-løkken
En arbeidsflyt der mennesker gjennomgår, veileder eller overstyrer AI-utdata.
Konstitusjonell AI
En trenings- og atferdsformende tilnærming der modellutdata styres av et fast sett med skriftlige prinsipper.
Destillert modell
En mindre modell trent til å imitere en større modells oppførsel mens du bruker mindre beregning ved inferens.
Bruksbasert fakturering
Prissetting der kostnadene skaleres med API-kall, tokens, slutningstid eller forbrukt databehandling.
Spekulativ dekoding
En inferensakselerasjonsmetode der et lite utkast til modell foreslår tokens som en større modell verifiserer parallelt.

Lær mer i våre gratis guider

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

Se også

In-Context LearningInference-Time ComputeHyperparameterInstruction TuningIntent ClassificationHallucinationJailbreakGuardrails
Bla gjennom hele AI-ordlistenUtforsk alle gratis AI-guider