que es Decodificación vigilada?

Una estrategia de decodificación que toma muestras solo de los k tokens siguientes más probables.

Una estrategia de decodificación que toma muestras del conjunto de tokens más pequeño cuyas probabilidades suman p.

Lógica que valida y convierte la salida del modelo en estructuras fuertemente tipadas y utilizables por máquinas.

Un método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.

Una configuración de decodificación que reduce la probabilidad de tokens que el modelo ya ha producido para reducir los bucles.

Una configuración de decodificación que reduce la probabilidad de los tokens proporcionalmente a la frecuencia con la que han aparecido hasta ahora.