Terme du glossaire IA

Qu’est-ce que Latence ?

Définition

Le temps entre l'envoi d'une requête et la réception de la sortie du modèle.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

Mécanisme d'attentionUn composant de modèle qui se concentre dynamiquement sur les parties pertinentes d'une entrée lors de la production d'une sortie.Système autonomeUn système capable de prendre des décisions et d’agir en temps réel avec un contrôle humain direct limité ou inexistant.AGRAFEUne architecture de modèle multimodale qui apprend les représentations partagées entre le texte et les images.Dérive des donnéesUn changement dans les données d'entrée du monde réel au fil du temps qui peut dégrader les performances du modèle.Calcul du temps d'inférenceQuantité de puissance de traitement consommée lors de la production de chaque réponse.Seuil de connaissanceLe dernier moment reflété dans les données d’entraînement d’un modèle.

Apprenez-en davantage dans nos guides gratuits

Tail Latency in Model ServingReducing LLM App LatencyTime to First Token and Latency Metrics

Voir aussi

Label SmoothingLarge Language Model (LLM)Knowledge GraphLearning RateKnowledge DistillationLoRA (Low-Rank Adaptation)Loss FunctionJailbreak