Глоссарий терминов искусственного интеллекта

Что такое Градиент?

Определение

Вектор, показывающий, насколько должен измениться каждый параметр, чтобы уменьшить потери.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

Скорость обученияОбучающий гиперпараметр, контролирующий, насколько параметры изменяются на каждом этапе обновления.Закон масштабированияЭмпирическая зависимость, показывающая, как производительность повышается с увеличением размера модели, данных или вычислений.Раздвижное окно ВниманиеСхема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.GAN (генеративно-состязательная сеть)Генеративная установка, в которой генератор и дискриминатор тренируются друг против друга.ОбобщениеНасколько хорошо модель работает с новыми, невидимыми данными за пределами обучающего набора.Градиентный спускМетод оптимизации, который обновляет параметры в направлении, уменьшающем ошибку.

Узнайте больше в наших бесплатных руководствах.

Gradient AccumulationStochastic Gradient Descent with MomentumNesterov Accelerated GradientVanishing and Exploding Gradients

См. также

Generative AIGround TruthGuardrailsFunction CallingHallucinationFoundation ModelHuman-in-the-LoopFine-Tuning