Termen de glosar AI

Ce este Facturare bazată pe utilizare?

Definiție

Prețuri la care costurile cresc cu apeluri API, token-uri, timp de inferență sau calcul consumat.

Termeni înrudiți

Calcularea timpului de inferență
Cantitatea de putere de procesare consumată în timpul producerii fiecărui răspuns.
Calcularea timpului de testare
Calcul de inferență suplimentar utilizat în timpul generării răspunsului pentru a îmbunătăți calitatea sau raționamentul.
Decodare speculativă
O metodă de accelerare a inferenței în care un model nefinalizat propune simboluri pe care un model mai mare le verifică în paralel.
Atenție fereastră glisantă
Un model de atenție în care fiecare jeton se ocupă doar de o fereastră de dimensiune fixă a jetonelor din apropiere pentru a reduce calculul.
Inferență
Faza de rulare în care un model antrenat generează predicții sau rezultate.
RAG (Recuperare-Augmented Generation)
O metodă care preia cunoștințe externe și le alimentează în generare la momentul deducerii.

Aflați mai multe în ghidurile noastre gratuite

Entropy-Based SamplingEnergy-Based ModelsScore-Based Generative ModelsWaveGlow Flow-Based Vocoder

Vezi și

Trust CalibrationZero Data RetentionStructured OutputKV CacheShadow DeploymentMCP (Model Context Protocol)Safety CaseAgentic Loop
Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite