What is Learning Rate? Definition | AI Understanding

Определение

Обучающий гиперпараметр, контролирующий, насколько параметры изменяются на каждом этапе обновления.

Связанные термины

Градиент

Вектор, показывающий, насколько должен измениться каждый параметр, чтобы уменьшить потери.

Гиперпараметр

Значение конфигурации, установленное перед обучением, например скорость обучения, размер пакета или глубина.

Обобщение

Насколько хорошо модель работает с новыми, невидимыми данными за пределами обучающего набора.

Точная настройка с эффективным использованием параметров (PEFT)

Методы, которые адаптируют модели путем обучения небольшого подмножества добавленных параметров.

Поиск луча

Алгоритм декодирования, который сохраняет несколько верхних последовательностей-кандидатов на каждом этапе для поиска выходных данных с более высокой вероятностью.

Функция потерь

Математическая цель, позволяющая количественно оценить ошибку прогноза во время обучения.

Узнайте больше в наших бесплатных руководствах.

Deep Learning Reinforcement Learning Machine Learning Basics Supervised Learning

См. также

Large Language Model (LLM)LoRA (Low-Rank Adaptation)Latency Label Smoothing Machine Learning (ML)Knowledge Graph Memory (Agent Memory)Knowledge Distillation

Просмотрите полный глоссарий AI Изучите все бесплатные руководства по искусственному интеллекту