Termo do glossário de IA

O que é Decodificação Especulativa?

Definição

Um método de aceleração de inferência em que um modelo pequeno propõe tokens que um modelo maior verifica em paralelo.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

Faturamento baseado no usoPreços onde os custos aumentam com chamadas de API, tokens, tempo de inferência ou computação consumida.Atenção à janela deslizanteUm padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.InferênciaA fase de tempo de execução em que um modelo treinado gera previsões ou resultados.RAG (geração aumentada de recuperação)Um método que recupera conhecimento externo e o alimenta na geração no momento da inferência.Amostragem Top-kUma estratégia de decodificação que faz amostras apenas dos k próximos tokens mais prováveis.Modelo DestiladoUm modelo menor treinado para imitar o comportamento de um modelo maior usando menos computação na inferência.

Saiba mais em nossos guias gratuitos

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Veja também

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output