que es Muestreo Top-k?

Una estrategia de decodificación que toma muestras del conjunto de tokens más pequeño cuyas probabilidades suman p.

Una estrategia de generación que limita los tokens de salida a estructuras válidas o elecciones que cumplan con las políticas.

Aprender o adaptar el comportamiento a partir de sólo un pequeño número de ejemplos.

Una métrica del modelo de lenguaje que mide cuán sorprendido está el modelo por los próximos tokens verdaderos.

Un método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.

Tensores de clave y valor almacenados de tokens anteriores que permiten a los transformadores generar nuevos tokens sin volver a calcular la atención pasada.