What is Inference-Time Compute? Definition | AI Understanding

Definisjon

Mengden prosessorkraft som forbrukes mens du produserer hver respons.

Relaterte vilkår

Test-Time Compute

Ytterligere slutningsberegning brukt under generering av respons for å forbedre kvalitet eller resonnement.

Bruksbasert fakturering

Prissetting der kostnadene skaleres med API-kall, tokens, slutningstid eller forbrukt databehandling.

Destillert modell

En mindre modell trent til å imitere en større modells oppførsel mens du bruker mindre beregning ved inferens.

Behandlingsressursene som kreves for å trene og kjøre modeller, ofte målt i FLOPS- eller GPU-timer.

RAG (Retrieval-Augmented Generation)

En metode som henter ekstern kunnskap og mater den inn i generering på slutningstidspunkt.

Justeringsavgift

Den ekstra kostnaden i tid, beregning eller produkthastighet som kreves for å gjøre systemene tryggere og mer kontrollerbare.

Lær mer i våre gratis guider

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

Se også

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff

Bla gjennom hele AI-ordlisten Utforsk alle gratis AI-guider