Термин от речника на AI

Какво е Градиент?

Определение

Вектор, показващ колко трябва да се промени всеки параметър, за да се намалят загубите.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

Скорост на обучениеХиперпараметър за обучение, контролиращ колко параметри се променят при всяка стъпка на актуализиране.Закон за мащабиранеЕмпирична връзка, показваща как производителността се подобрява с размера на модела, данните или изчисленията.Плъзгащ се прозорец ВниманиеМодел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.GAN (Генеративна състезателна мрежа)Генеративна настройка, при която генератор и дискриминатор се тренират един срещу друг.ОбобщениеКолко добре се представя моделът върху нови, невиждани данни извън набора за обучение.Градиентно спусканеМетод за оптимизация, който актуализира параметрите в посока, която намалява грешката.

Научете повече в нашите безплатни ръководства

Gradient AccumulationStochastic Gradient Descent with MomentumNesterov Accelerated GradientVanishing and Exploding Gradients

Вижте също

Generative AIGround TruthGuardrailsFunction CallingHallucinationFoundation ModelHuman-in-the-LoopFine-Tuning