Aprender Notícias Ferramentas Vagas Missão

Termo do glossário de IA

O que é Inferência?

Definição

A fase de tempo de execução em que um modelo treinado gera previsões ou resultados.

Navegue pelo glossário completo de IA Explore todos os guias gratuitos de IA

Ponto final de inferênciaUma interface de API implantada que recebe solicitações de modelo e retorna previsões em produção.Humano no LoopUm fluxo de trabalho onde humanos revisam, orientam ou substituem os resultados da IA.IA ConstitucionalUma abordagem de treinamento e modelagem de comportamento em que os resultados do modelo são guiados por um conjunto fixo de princípios escritos.Modelo DestiladoUm modelo menor treinado para imitar o comportamento de um modelo maior usando menos computação na inferência.Faturamento baseado no usoPreços onde os custos aumentam com chamadas de API, tokens, tempo de inferência ou computação consumida.Decodificação EspeculativaUm método de aceleração de inferência em que um modelo pequeno propõe tokens que um modelo maior verifica em paralelo.

Saiba mais em nossos guias gratuitos

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

Veja também

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails