What is Gradient Descent? Definition | AI Understanding

Definice

Optimalizační metoda, která aktualizuje parametry ve směru, který snižuje chyby.

Související pojmy

DPO (přímá optimalizace preferencí)

Tréninková metoda, která dolaďuje modely přímo na preferenčních párech bez nutnosti samostatného modelu odměn.

Vektor ukazující, jak moc by se měl každý parametr změnit, aby se snížila ztráta.

Zpětná propagace

Základní trénovací algoritmus, který aktualizuje váhy modelu šířením chyb predikce zpět po síti.

Konzistentní vzorec chyb nebo nespravedlivosti v chování dat nebo modelu.

Vyhlazování štítků

Metoda regularizace, která změkčuje tvrdé štítky pro zlepšení zobecnění.

Tréninkový hyperparametr, který řídí, jak moc se parametry mění v každém kroku aktualizace.

Více se dozvíte v našich bezplatných průvodcích

Gradient Accumulation Stochastic Gradient Descent with Momentum Nesterov Accelerated Gradient Vanishing and Exploding Gradients

Viz také

Ground Truth Generative AI Guardrails Generalization Hallucination GAN (Generative Adversarial Network)Human-in-the-Loop Function Calling

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI