Что такое Градиент?

Обучающий гиперпараметр, контролирующий, насколько параметры изменяются на каждом этапе обновления.

Эмпирическая зависимость, показывающая, как производительность повышается с увеличением размера модели, данных или вычислений.

Схема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.

Генеративная установка, в которой генератор и дискриминатор тренируются друг против друга.

Насколько хорошо модель работает с новыми, невидимыми данными за пределами обучающего набора.

Метод оптимизации, который обновляет параметры в направлении, уменьшающем ошибку.