Aprender Notícias Ferramentas Vagas Missão

Termo do glossário de IA

O que é Latência?

Definição

O tempo entre o envio de uma solicitação e o recebimento da saída do modelo.

Navegue pelo glossário completo de IA Explore todos os guias gratuitos de IA

Mecanismo de AtençãoUm componente do modelo que se concentra dinamicamente em partes relevantes de uma entrada ao produzir uma saída.Sistema AutônomoUm sistema que pode tomar decisões e agir com controle humano direto limitado ou inexistente em tempo real.GRAMPOUma arquitetura de modelo multimodal que aprende representações compartilhadas entre texto e imagens.Desvio de dadosUma mudança nos dados de entrada do mundo real ao longo do tempo que pode degradar o desempenho do modelo.Computação de tempo de inferênciaA quantidade de energia de processamento consumida ao produzir cada resposta.Corte de conhecimentoO último momento refletido nos dados de treinamento de um modelo.

Saiba mais em nossos guias gratuitos

Tail Latency in Model Serving Reducing LLM App Latency Time to First Token and Latency Metrics

Veja também

Label Smoothing Large Language Model (LLM)Knowledge Graph Learning Rate Knowledge Distillation LoRA (Low-Rank Adaptation)Loss Function Jailbreak