What is Frequency Penalty? Definition | AI Understanding

Definição

Uma configuração de decodificação que reduz a probabilidade de tokens proporcionalmente à frequência com que apareceram até o momento.

Termos relacionados

Penalidade de presença

Uma configuração de decodificação que reduz a probabilidade de aparecimento de tokens, incentivando novos tópicos.

Pena de Repetição

Uma configuração de decodificação que reduz a probabilidade de tokens que o modelo já produziu para reduzir loops.

Uma métrica de modelo de linguagem que mede o quão surpreso o modelo fica com os próximos tokens verdadeiros.

Amostragem Top-k

Uma estratégia de decodificação que faz amostras apenas dos k próximos tokens mais prováveis.

Decodificação Protegida

Uma estratégia de geração que restringe tokens de saída a estruturas válidas ou escolhas compatíveis com políticas.

Decodificação Especulativa

Um método de aceleração de inferência em que um modelo pequeno propõe tokens que um modelo maior verifica em paralelo.

Saiba mais em nossos guias gratuitos

Repetition Penalty and Decoding Controls Mel-Frequency Cepstral Coefficients

Veja também

Beam Search Parent-Document Retrieval Multi-Query Retrieval RAG-Fusion Self-Play Post-training Mid-training Watermarking

Navegue pelo glossário completo de IA Explore todos os guias gratuitos de IA