What is Learning Rate? Definition | AI Understanding

Определение

Хиперпараметър за обучение, контролиращ колко параметри се променят при всяка стъпка на актуализиране.

Свързани термини

Градиент

Вектор, показващ колко трябва да се промени всеки параметър, за да се намалят загубите.

Хиперпараметър

Конфигурационна стойност, зададена преди обучението, като скорост на обучение, размер на партида или дълбочина.

Обобщение

Колко добре се представя моделът върху нови, невиждани данни извън набора за обучение.

Параметрно ефективна фина настройка (PEFT)

Методи, които адаптират модели чрез обучение на малък поднабор от добавени параметри.

Търсене с лъч

Алгоритъм за декодиране, който запазва първите няколко кандидат последователности на всяка стъпка, за да намери изходни данни с по-висока вероятност.

Функция загуба

Математическа цел, която количествено определя грешката при прогнозиране по време на обучение.

Научете повече в нашите безплатни ръководства

Deep Learning Reinforcement Learning Machine Learning Basics Supervised Learning

See also

Large Language Model (LLM)LoRA (Low-Rank Adaptation)Latency Label Smoothing Machine Learning (ML)Knowledge Graph Memory (Agent Memory)Knowledge Distillation

Разгледайте пълния AI речник Разгледайте всички безплатни ръководства за AI