Глоссарий терминов искусственного интеллекта

Что такое Задержка?

Определение

Время между отправкой запроса и получением выходных данных модели.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

Механизм вниманияКомпонент модели, который динамически фокусируется на соответствующих частях входных данных при создании выходных данных.Автономная системаСистема, которая может принимать решения и действовать под ограниченным или отсутствующим прямым контролем человека в режиме реального времени.КЛИПАрхитектура мультимодальной модели, которая изучает общие представления текста и изображений.Дрейф данныхИзменение реальных входных данных с течением времени, которое может ухудшить производительность модели.Вычисление времени выводаКоличество вычислительной мощности, потребляемой при создании каждого ответа.Прекращение знанийПоследний момент времени отражается в данных обучения модели.

Узнайте больше в наших бесплатных руководствах.

Tail Latency in Model ServingReducing LLM App LatencyTime to First Token and Latency Metrics

См. также

Label SmoothingLarge Language Model (LLM)Knowledge GraphLearning RateKnowledge DistillationLoRA (Low-Rank Adaptation)Loss FunctionJailbreak