que es Caché KV?

Enfoques de entrenamiento que permiten que un modelo siga aprendiendo de nuevos datos sin olvidar el conocimiento previo.

Una estrategia de decodificación que toma muestras solo de los k tokens siguientes más probables.

Patrones de aprendizaje a partir de datos sin etiquetar sin resultados objetivo explícitos.

Un patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.

Un tokenizador independiente del idioma que aprende unidades de subpalabras directamente a partir de texto sin formato sin dividirlo previamente en espacios en blanco.

Una configuración de decodificación que reduce la probabilidad de que aparezcan tokens, fomentando nuevos temas.