Termo do glossário de IA

O que é Pena de Repetição?

Definição

Uma configuração de decodificação que reduz a probabilidade de tokens que o modelo já produziu para reduzir loops.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

Penalidade de frequênciaUma configuração de decodificação que reduz a probabilidade de tokens proporcionalmente à frequência com que apareceram até o momento.Penalidade de presençaUma configuração de decodificação que reduz a probabilidade de aparecimento de tokens, incentivando novos tópicos.Amostragem Top-kUma estratégia de decodificação que faz amostras apenas dos k próximos tokens mais prováveis.Decodificação ProtegidaUma estratégia de geração que restringe tokens de saída a estruturas válidas ou escolhas compatíveis com políticas.Decodificação EspeculativaUm método de aceleração de inferência em que um modelo pequeno propõe tokens que um modelo maior verifica em paralelo.Atenção à janela deslizanteUm padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.

Saiba mais em nossos guias gratuitos

Repetition Penalty and Decoding ControlsAI Flashcards and Spaced Repetition

Veja também

Beam SearchParent-Document RetrievalMulti-Query RetrievalRAG-FusionSelf-PlayPost-trainingMid-trainingWatermarking