O que é Decodificação Especulativa?

Preços onde os custos aumentam com chamadas de API, tokens, tempo de inferência ou computação consumida.

Um padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.

A fase de tempo de execução em que um modelo treinado gera previsões ou resultados.

Um método que recupera conhecimento externo e o alimenta na geração no momento da inferência.

Uma estratégia de decodificação que faz amostras apenas dos k próximos tokens mais prováveis.

Um modelo menor treinado para imitar o comportamento de um modelo maior usando menos computação na inferência.