What is Inference-Time Compute? Definition | AI Understanding

Definition

Mängden processorkraft som förbrukas när varje svar produceras.

Relaterade termer

Test-Time Compute

Ytterligare slutledningsberäkning som används under svarsgenerering för att förbättra kvalitet eller resonemang.

Användningsbaserad fakturering

Prissättning där kostnaderna skalas med API-anrop, tokens, slutledningstid eller förbrukad beräkning.

Destillerad modell

En mindre modell tränad att imitera en större modells beteende samtidigt som man använder mindre beräkning vid slutledning.

Bearbetningsresurserna som krävs för att träna och köra modeller, ofta mätt i FLOPS- eller GPU-timmar.

RAG (Retrieval-Augmented Generation)

En metod som hämtar extern kunskap och matar in den i generering vid slutledningstidpunkten.

Anpassningsskatt

Den extra kostnaden i tid, beräkning eller produkthastighet som krävs för att göra systemen säkrare och mer kontrollerbara.

Läs mer i våra kostnadsfria guider

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

See also

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff

Bläddra i hela AI-ordlistan Utforska alla gratis AI-guider