What is Inference? Definition | AI Understanding

Définition

Phase d'exécution au cours de laquelle un modèle entraîné génère des prédictions ou des sorties.

Termes associés

Point de terminaison d’inférence

Une interface API déployée qui reçoit les requêtes de modèle et renvoie des prédictions en production.

Humain dans la boucle

Un flux de travail dans lequel les humains examinent, guident ou remplacent les sorties de l'IA.

IA constitutionnelle

Une approche de formation et de formation des comportements où les résultats du modèle sont guidés par un ensemble fixe de principes écrits.

Modèle distillé

Un modèle plus petit entraîné pour imiter le comportement d'un modèle plus grand tout en utilisant moins de calcul lors de l'inférence.

Facturation basée sur l'utilisation

Tarification où les coûts évoluent en fonction des appels d'API, des jetons, du temps d'inférence ou du calcul consommé.

Décodage spéculatif

Une méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.

Apprenez-en davantage dans nos guides gratuits

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

Voir aussi

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails

Parcourez le glossaire complet de l'IA Explorez tous les guides gratuits sur l'IA