Aprender Noticias Herramientas Empleos Misión

Término del glosario de IA

¿Qué es Poda?

Definición

Eliminación de pesos o neuronas del modelo menos importantes para reducir el tamaño y el cálculo.

Explore el glosario completo de IA Explora todas las guías gratuitas de IA

Atención de ventana corredizaUn patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.Ley de escalaUna relación empírica que muestra cómo mejora el rendimiento con el tamaño, los datos o la computación del modelo.Modelo destiladoUn modelo más pequeño entrenado para imitar el comportamiento de un modelo más grande mientras usa menos computación en la inferencia.Propagación hacia atrásEl algoritmo de entrenamiento central que actualiza los pesos del modelo propagando los errores de predicción hacia atrás a través de la red.CalcularLos recursos de procesamiento necesarios para entrenar y ejecutar modelos, a menudo medidos en FLOPS u horas de GPU.gradienteUn vector que muestra cuánto debe cambiar cada parámetro para reducir la pérdida.

Obtenga más información en nuestras guías gratuitas.

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

Véase también

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System