que es Ventana de contexto?

El proceso de dividir el texto en tokens para la entrada del modelo.

Un cambio en los datos de entrada del mundo real a lo largo del tiempo que puede degradar el rendimiento del modelo.

Un modelo que puede procesar o generar múltiples tipos de datos, como texto, imagen y audio.

Una métrica del modelo de lenguaje que mide cuán sorprendido está el modelo por los próximos tokens verdaderos.

Las instrucciones de entrada y el contexto proporcionados a un modelo generativo.

Un patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.