What is Gradient Descent? Definition | AI Understanding

Визначення

Метод оптимізації, який оновлює параметри в напрямку, що зменшує помилку.

Споріднені терміни

DPO (пряма оптимізація переваг)

Метод навчання, який точно налаштовує моделі безпосередньо на пари переваг без необхідності окремої моделі винагороди.

Градієнт

Вектор, що показує, наскільки має змінитися кожен параметр, щоб зменшити втрати.

Зворотне поширення

Основний навчальний алгоритм, який оновлює вагові коефіцієнти моделі шляхом передачі помилок передбачення назад через мережу.

Упередженість

Послідовна модель помилок або несправедливості в даних або поведінці моделі.

Згладжування міток

Метод регулярізації, який пом’якшує жорсткі мітки для покращення узагальнення.

Швидкість навчання

Навчальний гіперпараметр, який контролює, скільки параметрів змінюється на кожному кроці оновлення.

Дізнайтеся більше в наших безкоштовних посібниках

Gradient Accumulation Stochastic Gradient Descent with Momentum Nesterov Accelerated Gradient Vanishing and Exploding Gradients

See also

Ground Truth Generative AI Guardrails Generalization Hallucination GAN (Generative Adversarial Network)Human-in-the-Loop Function Calling

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту