What is Learning Rate? Definition | AI Understanding

Definicja

Hiperparametr szkoleniowy kontrolujący stopień zmiany parametrów w każdym kroku aktualizacji.

Powiązane terminy

Wektor pokazujący, jak bardzo powinien zmienić się każdy parametr, aby zmniejszyć straty.

Wartość konfiguracji ustawiona przed szkoleniem, taka jak szybkość uczenia się, rozmiar partii lub głębokość.

Jak dobrze model radzi sobie z nowymi, niewidocznymi danymi spoza zbioru szkoleniowego.

Dostrajanie efektywne pod względem parametrów (PEFT)

Metody dostosowujące modele poprzez uczenie małego podzbioru dodanych parametrów.

Wyszukiwanie wiązki

Algorytm dekodowania, który utrzymuje kilka najlepszych sekwencji kandydujących na każdym kroku, aby znaleźć wyniki o większym prawdopodobieństwie.

Cel matematyczny, który określa ilościowo błąd przewidywania podczas uczenia.

Dowiedz się więcej z naszych bezpłatnych przewodników

Deep Learning Reinforcement Learning Machine Learning Basics Supervised Learning

Zobacz także

Large Language Model (LLM)LoRA (Low-Rank Adaptation)Latency Label Smoothing Machine Learning (ML)Knowledge Graph Memory (Agent Memory)Knowledge Distillation

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI