What is Gradient Descent? Definition | AI Understanding

Definisi

Kaedah pengoptimuman yang mengemas kini parameter ke arah yang mengurangkan ralat.

Istilah berkaitan

DPO (Pengoptimuman Keutamaan Langsung)

Kaedah latihan yang memperhalusi model secara langsung pada pasangan pilihan tanpa memerlukan model ganjaran yang berasingan.

Vektor yang menunjukkan berapa banyak setiap parameter harus berubah untuk mengurangkan kerugian.

Penyebaran balik

Algoritma latihan teras yang mengemas kini berat model dengan menyebarkan ralat ramalan ke belakang melalui rangkaian.

Corak kesilapan atau ketidakadilan yang konsisten dalam data atau tingkah laku model.

Melicinkan Label

Kaedah regularisasi yang melembutkan label keras untuk meningkatkan generalisasi.

Kadar Pembelajaran

Hiperparameter latihan yang mengawal berapa banyak parameter mengubah setiap langkah kemas kini.

Ketahui lebih lanjut dalam panduan percuma kami

Gradient Accumulation Stochastic Gradient Descent with Momentum Nesterov Accelerated Gradient Vanishing and Exploding Gradients

See also

Ground Truth Generative AI Guardrails Generalization Hallucination GAN (Generative Adversarial Network)Human-in-the-Loop Function Calling

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma