que es Penalización de presencia?

Una configuración de decodificación que reduce la probabilidad de los tokens proporcionalmente a la frecuencia con la que han aparecido hasta ahora.

Una configuración de decodificación que reduce la probabilidad de tokens que el modelo ya ha producido para reducir los bucles.

Una estrategia de decodificación que toma muestras solo de los k tokens siguientes más probables.

Una estrategia de generación que limita los tokens de salida a estructuras válidas o elecciones que cumplan con las políticas.

Un método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.

Tensores de clave y valor almacenados de tokens anteriores que permiten a los transformadores generar nuevos tokens sin volver a calcular la atención pasada.