What is Gradient Descent? Definition | AI Understanding

Определение

Метод за оптимизация, който актуализира параметрите в посока, която намалява грешката.

Свързани термини

DPO (директна оптимизация на предпочитанията)

Метод на обучение, който прецизира моделите директно върху двойки предпочитания, без да е необходим отделен модел на възнаграждение.

Градиент

Вектор, показващ колко трябва да се промени всеки параметър, за да се намалят загубите.

Обратно разпространение

Основният алгоритъм за обучение, който актуализира теглата на модела чрез разпространение на грешките при прогнозиране назад през мрежата.

Пристрастие

Последователен модел на грешка или несправедливост в данните или поведението на модела.

Изглаждане на етикети

Метод за регулиране, който омекотява твърдите етикети, за да подобри обобщението.

Скорост на обучение

Хиперпараметър за обучение, контролиращ колко параметри се променят при всяка стъпка на актуализиране.

Научете повече в нашите безплатни ръководства

Gradient Accumulation Stochastic Gradient Descent with Momentum Nesterov Accelerated Gradient Vanishing and Exploding Gradients

See also

Ground Truth Generative AI Guardrails Generalization Hallucination GAN (Generative Adversarial Network)Human-in-the-Loop Function Calling

Разгледайте пълния AI речник Разгледайте всички безплатни ръководства за AI