What is Frequency Penalty? Definition | AI Understanding

Definición

Una configuración de decodificación que reduce la probabilidad de los tokens proporcionalmente a la frecuencia con la que han aparecido hasta ahora.

Términos relacionados

Penalización de presencia

Una configuración de decodificación que reduce la probabilidad de que aparezcan tokens, fomentando nuevos temas.

Penalización por repetición

Una configuración de decodificación que reduce la probabilidad de tokens que el modelo ya ha producido para reducir los bucles.

Una métrica del modelo de lenguaje que mide cuán sorprendido está el modelo por los próximos tokens verdaderos.

Una estrategia de decodificación que toma muestras solo de los k tokens siguientes más probables.

Decodificación vigilada

Una estrategia de generación que limita los tokens de salida a estructuras válidas o elecciones que cumplan con las políticas.

Decodificación especulativa

Un método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.

Obtenga más información en nuestras guías gratuitas.

Repetition Penalty and Decoding Controls Mel-Frequency Cepstral Coefficients

See also

Beam Search Parent-Document Retrieval Multi-Query Retrieval RAG-Fusion Self-Play Post-training Mid-training Watermarking

Explore el glosario completo de IA Explora todas las guías gratuitas de IA