What is Inference-Time Compute? Definition | AI Understanding

Definiție

Cantitatea de putere de procesare consumată în timpul producerii fiecărui răspuns.

Termeni înrudiți

Calcularea timpului de testare

Calcul de inferență suplimentar utilizat în timpul generării răspunsului pentru a îmbunătăți calitatea sau raționamentul.

Facturare bazată pe utilizare

Prețuri la care costurile cresc cu apeluri API, token-uri, timp de inferență sau calcul consumat.

Un model mai mic antrenat să imite comportamentul unui model mai mare, folosind mai puține calcule la inferență.

Resursele de procesare necesare pentru antrenarea și rularea modelelor, adesea măsurate în ore FLOPS sau GPU.

RAG (Recuperare-Augmented Generation)

O metodă care preia cunoștințe externe și le alimentează în generare la momentul deducerii.

Taxa de aliniere

Costul suplimentar în timp, calcul sau viteza produsului necesar pentru a face sistemele mai sigure și mai controlabile.

Aflați mai multe în ghidurile noastre gratuite

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

Vezi și

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite