What is Gradient? Definition | AI Understanding

Визначення

Вектор, що показує, наскільки має змінитися кожен параметр, щоб зменшити втрати.

Споріднені терміни

Швидкість навчання

Навчальний гіперпараметр, який контролює, скільки параметрів змінюється на кожному кроці оновлення.

Закон масштабування

Емпіричний зв’язок, який показує, як покращується продуктивність із розміром моделі, даними чи обчисленнями.

Розсувне вікно Увага

Шаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.

GAN (Generate Adversarial Network)

Генеративна установка, де генератор і дискримінатор тренуються один проти одного.

Узагальнення

Наскільки добре модель працює на нових, невидимих даних за межами навчального набору.

Градієнтний спуск

Метод оптимізації, який оновлює параметри в напрямку, що зменшує помилку.

Дізнайтеся більше в наших безкоштовних посібниках

Gradient Accumulation Stochastic Gradient Descent with Momentum Nesterov Accelerated Gradient Vanishing and Exploding Gradients

See also

Generative AI Ground Truth Guardrails Function Calling Hallucination Foundation Model Human-in-the-Loop Fine-Tuning

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту