que es gradiente?

Un hiperparámetro de entrenamiento que controla cuánto cambian los parámetros en cada paso de actualización.

Una relación empírica que muestra cómo mejora el rendimiento con el tamaño, los datos o la computación del modelo.

Un patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.

Una configuración generativa donde un generador y un discriminador se entrenan entre sí.

Qué tan bien se desempeña un modelo con datos nuevos e invisibles fuera del conjunto de entrenamiento.

Un método de optimización que actualiza los parámetros en la dirección que reduce el error.