O que é Inferência?

Uma interface de API implantada que recebe solicitações de modelo e retorna previsões em produção.

Um fluxo de trabalho onde humanos revisam, orientam ou substituem os resultados da IA.

Uma abordagem de treinamento e modelagem de comportamento em que os resultados do modelo são guiados por um conjunto fixo de princípios escritos.

Um modelo menor treinado para imitar o comportamento de um modelo maior usando menos computação na inferência.

Preços onde os custos aumentam com chamadas de API, tokens, tempo de inferência ou computação consumida.

Um método de aceleração de inferência em que um modelo pequeno propõe tokens que um modelo maior verifica em paralelo.