Inferência de IA

Uma solicitação normalmente passa pela validação de entrada, pré-processamento, modelo e processamento de saída. Um serviço de texto pode tokenizar um prompt, executar o modelo repetidamente para gerar tokens e montar a resposta. Ferramentas externas e de recuperação podem adicionar mais estágios ao modelo. Seu tempo e erros contam para a experiência do usuário. Meça a latência e a taxa de transferência separadamente. Latência é quanto tempo leva uma solicitação; taxa de transferência é quantas solicitações o sistema conclui em um período. As solicitações em lote podem melhorar o rendimento e aumentar a espera por uma solicitação individual. O streaming pode fazer com que uma resposta comece mais cedo, sem reduzir o tempo necessário para terminá-la. A memória do hardware deve acomodar mais pesos do que o modelo. Buffers de trabalho, solicitações simultâneas e representações em cache também consomem memória. Entradas e saídas mais longas podem alterar o custo do serviço, portanto teste a distribuição real da carga de trabalho em vez de uma breve demonstração. Uma implantação de inferência precisa de limites, tempos limite e uma resposta utilizável quando o modelo não consegue responder. Mantenha um conjunto de avaliação versionado e compare os resultados após alterar a precisão, o lote, as versões do modelo ou o pré-processamento. Uma otimização só é útil se preservar a qualidade exigida pela tarefa.