What is Gradient? Definition | AI Understanding

Definicja

Wektor pokazujący, jak bardzo powinien zmienić się każdy parametr, aby zmniejszyć straty.

Powiązane terminy

Szybkość uczenia się

Hiperparametr szkoleniowy kontrolujący stopień zmiany parametrów w każdym kroku aktualizacji.

Prawo skalowania

Zależność empiryczna pokazująca, jak wydajność poprawia się wraz z rozmiarem modelu, danymi lub obliczeniami.

Uwaga na przesuwane okno

Wzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.

GAN (generatywna sieć kontradyktoryjna)

Układ generatywny, w którym generator i dyskryminator trenują przeciwko sobie.

Jak dobrze model radzi sobie z nowymi, niewidocznymi danymi spoza zbioru szkoleniowego.

Zejście gradientowe

Metoda optymalizacji, która aktualizuje parametry w kierunku zmniejszającym błąd.

Dowiedz się więcej z naszych bezpłatnych przewodników

Gradient Accumulation Stochastic Gradient Descent with Momentum Nesterov Accelerated Gradient Vanishing and Exploding Gradients

Zobacz także

Generative AI Ground Truth Guardrails Function Calling Hallucination Foundation Model Human-in-the-Loop Fine-Tuning

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI