Término del glosario de IA

¿Qué es gradiente?

Definición

Un vector que muestra cuánto debe cambiar cada parámetro para reducir la pérdida.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

Tasa de aprendizajeUn hiperparámetro de entrenamiento que controla cuánto cambian los parámetros en cada paso de actualización.Ley de escalaUna relación empírica que muestra cómo mejora el rendimiento con el tamaño, los datos o la computación del modelo.Atención de ventana corredizaUn patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.GAN (Red de confrontación generativa)Una configuración generativa donde un generador y un discriminador se entrenan entre sí.GeneralizaciónQué tan bien se desempeña un modelo con datos nuevos e invisibles fuera del conjunto de entrenamiento.Descenso de gradienteUn método de optimización que actualiza los parámetros en la dirección que reduce el error.

Obtenga más información en nuestras guías gratuitas.

Gradient AccumulationStochastic Gradient Descent with MomentumNesterov Accelerated GradientVanishing and Exploding Gradients

Véase también

Generative AIGround TruthGuardrailsFunction CallingHallucinationFoundation ModelHuman-in-the-LoopFine-Tuning