Apprendre Actus Outils Emplois Mission

Terme du glossaire IA

Qu’est-ce que Inférence ?

Définition

Phase d'exécution au cours de laquelle un modèle entraîné génère des prédictions ou des sorties.

Parcourez le glossaire complet de l'IA Explorez tous les guides gratuits sur l'IA

Point de terminaison d’inférenceUne interface API déployée qui reçoit les requêtes de modèle et renvoie des prédictions en production.Humain dans la boucleUn flux de travail dans lequel les humains examinent, guident ou remplacent les sorties de l'IA.IA constitutionnelleUne approche de formation et de formation des comportements où les résultats du modèle sont guidés par un ensemble fixe de principes écrits.Modèle distilléUn modèle plus petit entraîné pour imiter le comportement d'un modèle plus grand tout en utilisant moins de calcul lors de l'inférence.Facturation basée sur l'utilisationTarification où les coûts évoluent en fonction des appels d'API, des jetons, du temps d'inférence ou du calcul consommé.Décodage spéculatifUne méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.

Apprenez-en davantage dans nos guides gratuits

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

Voir aussi

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails