What is Inference-Time Compute? Definition | AI Understanding

Définition

Quantité de puissance de traitement consommée lors de la production de chaque réponse.

Termes associés

Calcul au moment du test

Calcul d'inférence supplémentaire utilisé lors de la génération de réponses pour améliorer la qualité ou le raisonnement.

Facturation basée sur l'utilisation

Tarification où les coûts évoluent en fonction des appels d'API, des jetons, du temps d'inférence ou du calcul consommé.

Modèle distillé

Un modèle plus petit entraîné pour imiter le comportement d'un modèle plus grand tout en utilisant moins de calcul lors de l'inférence.

Les ressources de traitement nécessaires pour entraîner et exécuter des modèles, souvent mesurées en heures FLOPS ou GPU.

RAG (génération augmentée par récupération)

Une méthode qui récupère des connaissances externes et les intègre à la génération au moment de l'inférence.

Taxe d'alignement

Le coût supplémentaire en temps, en calcul ou en vitesse du produit nécessaire pour rendre les systèmes plus sûrs et plus contrôlables.

Apprenez-en davantage dans nos guides gratuits

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

Voir aussi

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff

Parcourez le glossaire complet de l'IA Explorez tous les guides gratuits sur l'IA