Termo do glossário de IA

O que é Computação de tempo de inferência?

Definição

A quantidade de energia de processamento consumida ao produzir cada resposta.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

Computação em tempo de testeCálculo de inferência adicional usado durante a geração de resposta para melhorar a qualidade ou o raciocínio.Faturamento baseado no usoPreços onde os custos aumentam com chamadas de API, tokens, tempo de inferência ou computação consumida.Modelo DestiladoUm modelo menor treinado para imitar o comportamento de um modelo maior usando menos computação na inferência.CalcularOs recursos de processamento necessários para treinar e executar modelos, geralmente medidos em FLOPS ou horas de GPU.RAG (geração aumentada de recuperação)Um método que recupera conhecimento externo e o alimenta na geração no momento da inferência.Imposto de AlinhamentoO custo extra em tempo, computação ou velocidade do produto necessário para tornar os sistemas mais seguros e controláveis.

Saiba mais em nossos guias gratuitos

AI InferenceComputer VisionSentiment AnalysisReal-Time Voice Agents

Veja também

InferenceInstruction TuningIn-Context LearningIntent ClassificationHyperparameterJailbreakHuman-in-the-LoopKnowledge Cutoff