Apprendre Actus Outils Emplois Mission

Terme du glossaire IA

Qu’est-ce que Calcul du temps d'inférence ?

Définition

Quantité de puissance de traitement consommée lors de la production de chaque réponse.

Parcourez le glossaire complet de l'IA Explorez tous les guides gratuits sur l'IA

Calcul au moment du testCalcul d'inférence supplémentaire utilisé lors de la génération de réponses pour améliorer la qualité ou le raisonnement.Facturation basée sur l'utilisationTarification où les coûts évoluent en fonction des appels d'API, des jetons, du temps d'inférence ou du calcul consommé.Modèle distilléUn modèle plus petit entraîné pour imiter le comportement d'un modèle plus grand tout en utilisant moins de calcul lors de l'inférence.CalculerLes ressources de traitement nécessaires pour entraîner et exécuter des modèles, souvent mesurées en heures FLOPS ou GPU.RAG (génération augmentée par récupération)Une méthode qui récupère des connaissances externes et les intègre à la génération au moment de l'inférence.Taxe d'alignementLe coût supplémentaire en temps, en calcul ou en vitesse du produit nécessaire pour rendre les systèmes plus sûrs et plus contrôlables.

Apprenez-en davantage dans nos guides gratuits

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

Voir aussi

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff