Término del glosario de IA

¿Qué es Penalización de presencia?

Definición

Una configuración de decodificación que reduce la probabilidad de que aparezcan tokens, fomentando nuevos temas.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

Penalización de frecuenciaUna configuración de decodificación que reduce la probabilidad de los tokens proporcionalmente a la frecuencia con la que han aparecido hasta ahora.Penalización por repeticiónUna configuración de decodificación que reduce la probabilidad de tokens que el modelo ya ha producido para reducir los bucles.Muestreo Top-kUna estrategia de decodificación que toma muestras solo de los k tokens siguientes más probables.Decodificación vigiladaUna estrategia de generación que limita los tokens de salida a estructuras válidas o elecciones que cumplan con las políticas.Decodificación especulativaUn método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.Caché KVTensores de clave y valor almacenados de tokens anteriores que permiten a los transformadores generar nuevos tokens sin volver a calcular la atención pasada.

Obtenga más información en nuestras guías gratuitas.

Repetition Penalty and Decoding Controls

Véase también

Beam SearchParent-Document RetrievalMulti-Query RetrievalRAG-FusionSelf-PlayPost-trainingMid-trainingWatermarking