学习新闻工具职位使命

人工智能术语

什么是延迟？

定义

发送请求和接收模型输出之间的时间。

浏览完整的人工智能术语表探索所有免费的人工智能指南

注意力机制生成输出时动态关注输入的相关部分的模型组件。自治系统一种可以在有限或没有直接人类控制的情况下实时做出决策和采取行动的系统。剪辑一种学习文本和图像之间共享表示的多模态模型架构。数据漂移现实世界输入数据随时间的变化可能会降低模型性能。推理时间计算生成每个响应时消耗的处理能力。知识截止模型训练数据中反映的最新时间点。

在我们的免费指南中了解更多信息

Tail Latency in Model Serving Reducing LLM App Latency Time to First Token and Latency Metrics

参见

Label Smoothing Large Language Model (LLM)Knowledge Graph Learning Rate Knowledge Distillation LoRA (Low-Rank Adaptation)Loss Function Jailbreak