que es Ley de escala?

Un patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.

Una configuración de entrenamiento donde un modelo mejora generando datos a través de interacciones o competencias con copias de sí mismo.

Con qué claridad están documentadas y son comprensibles la lógica, las fuentes de datos y las limitaciones de un sistema de IA.

Un cambio en los datos de entrada del mundo real a lo largo del tiempo que puede degradar el rendimiento del modelo.

Qué tan bien se desempeña un modelo con datos nuevos e invisibles fuera del conjunto de entrenamiento.

Un vector que muestra cuánto debe cambiar cada parámetro para reducir la pérdida.