AI Ordlista Term

Vad är Gradient Descent?

Definition

En optimeringsmetod som uppdaterar parametrar i den riktning som minskar fel.

Relaterade termer

DPO (Direct Preference Optimization)
En träningsmetod som finjusterar modeller direkt på preferenspar utan att behöva en separat belöningsmodell.
Gradient
En vektor som visar hur mycket varje parameter bör ändras för att minska förlusten.
Backpropagation
Grundträningsalgoritmen som uppdaterar modellvikter genom att sprida prediktionsfel bakåt genom nätverket.
Bias
Ett konsekvent mönster av fel eller orättvisa i data eller modellbeteende.
Etikettutjämning
En regulariseringsmetod som mjukar upp hårda etiketter för att förbättra generaliseringen.
Inlärningshastighet
En träningshyperparameter som styr hur mycket parametrar ändrar varje uppdateringssteg.

Läs mer i våra kostnadsfria guider

Gradient AccumulationStochastic Gradient Descent with MomentumNesterov Accelerated GradientVanishing and Exploding Gradients

See also

Ground TruthGenerative AIGuardrailsGeneralizationHallucinationGAN (Generative Adversarial Network)Human-in-the-LoopFunction Calling
Bläddra i hela AI-ordlistanUtforska alla gratis AI-guider