que es Poda?

Un patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.

Una relación empírica que muestra cómo mejora el rendimiento con el tamaño, los datos o la computación del modelo.

Un modelo más pequeño entrenado para imitar el comportamiento de un modelo más grande mientras usa menos computación en la inferencia.

El algoritmo de entrenamiento central que actualiza los pesos del modelo propagando los errores de predicción hacia atrás a través de la red.

Los recursos de procesamiento necesarios para entrenar y ejecutar modelos, a menudo medidos en FLOPS u horas de GPU.

Un vector que muestra cuánto debe cambiar cada parámetro para reducir la pérdida.