que es Atención de ventana corrediza?

Eliminación de pesos o neuronas del modelo menos importantes para reducir el tamaño y el cálculo.

Precios donde los costos escalan con llamadas API, tokens, tiempo de inferencia o computación consumida.

Una relación empírica que muestra cómo mejora el rendimiento con el tamaño, los datos o la computación del modelo.

Un modelo donde muchos parámetros son cero o están inactivos para reducir el cálculo.

Un método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.

La cantidad máxima de tokens de entrada que un modelo de lenguaje puede procesar a la vez.