What is Gradient Descent? Definition | AI Understanding

Definicja

Metoda optymalizacji, która aktualizuje parametry w kierunku zmniejszającym błąd.

Powiązane terminy

DPO (bezpośrednia optymalizacja preferencji)

Metoda uczenia, która dostraja modele bezpośrednio na parach preferencji, bez konieczności stosowania osobnego modelu nagrody.

Wektor pokazujący, jak bardzo powinien zmienić się każdy parametr, aby zmniejszyć straty.

Propagacja wsteczna

Podstawowy algorytm szkoleniowy, który aktualizuje wagi modeli poprzez propagację błędów przewidywań wstecz w sieci.

Spójny wzorzec błędów lub nieuczciwości w danych lub zachowaniu modelu.

Wygładzanie etykiet

Metoda regularyzacji, która łagodzi twarde etykiety, aby poprawić generalizację.

Szybkość uczenia się

Hiperparametr szkoleniowy kontrolujący stopień zmiany parametrów w każdym kroku aktualizacji.

Dowiedz się więcej z naszych bezpłatnych przewodników

Gradient Accumulation Stochastic Gradient Descent with Momentum Nesterov Accelerated Gradient Vanishing and Exploding Gradients

Zobacz także

Ground Truth Generative AI Guardrails Generalization Hallucination GAN (Generative Adversarial Network)Human-in-the-Loop Function Calling

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI