Термін глосарію AI

Що таке Затримка?

Визначення

Час між надсиланням запиту та отриманням виходу моделі.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

Механізм увагиКомпонент моделі, який динамічно фокусується на відповідних частинах вхідних даних під час створення виходу.Автономна системаСистема, яка може приймати рішення та діяти з обмеженим або без прямого контролю людини в реальному часі.CLIPАрхітектура мультимодальної моделі, яка вивчає спільні представлення між текстом і зображеннями.Дрейф данихЗміна вхідних даних реального світу з часом, що може погіршити продуктивність моделі.Висновок-обчислення часуКількість обчислювальної потужності, спожитої під час створення кожної відповіді.Відсічення знаньОстанній момент часу, відображений у даних навчання моделі.

Дізнайтеся більше в наших безкоштовних посібниках

Tail Latency in Model ServingReducing LLM App LatencyTime to First Token and Latency Metrics

Дивіться також

Label SmoothingLarge Language Model (LLM)Knowledge GraphLearning RateKnowledge DistillationLoRA (Low-Rank Adaptation)Loss FunctionJailbreak