What is Learning Rate? Definition | AI Understanding

Визначення

Навчальний гіперпараметр, який контролює, скільки параметрів змінюється на кожному кроці оновлення.

Споріднені терміни

Градієнт

Вектор, що показує, наскільки має змінитися кожен параметр, щоб зменшити втрати.

Гіперпараметр

Значення конфігурації, встановлене перед навчанням, наприклад швидкість навчання, розмір партії або глибина.

Узагальнення

Наскільки добре модель працює на нових, невидимих даних за межами навчального набору.

Параметричне точне налаштування (PEFT)

Методи, які адаптують моделі шляхом навчання невеликої підмножини доданих параметрів.

Пошук за променем

Алгоритм декодування, який зберігає декілька верхніх послідовностей-кандидатів на кожному кроці, щоб знайти результати з вищою ймовірністю.

Функція втрати

Математична мета, яка кількісно визначає помилку передбачення під час навчання.

Дізнайтеся більше в наших безкоштовних посібниках

Deep Learning Reinforcement Learning Machine Learning Basics Supervised Learning

See also

Large Language Model (LLM)LoRA (Low-Rank Adaptation)Latency Label Smoothing Machine Learning (ML)Knowledge Graph Memory (Agent Memory)Knowledge Distillation

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту