que es Penalización por repetición?

Una configuración de decodificación que reduce la probabilidad de los tokens proporcionalmente a la frecuencia con la que han aparecido hasta ahora.

Una configuración de decodificación que reduce la probabilidad de que aparezcan tokens, fomentando nuevos temas.

Una estrategia de decodificación que toma muestras solo de los k tokens siguientes más probables.

Una estrategia de generación que limita los tokens de salida a estructuras válidas o elecciones que cumplan con las políticas.

Un método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.

Un patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.