What is Gradient? Definition | AI Understanding

Definisi

Vektor yang menunjukkan berapa banyak setiap parameter harus berubah untuk mengurangkan kerugian.

Istilah berkaitan

Kadar Pembelajaran

Hiperparameter latihan yang mengawal berapa banyak parameter mengubah setiap langkah kemas kini.

Undang-undang Skala

Hubungan empirikal yang menunjukkan cara prestasi bertambah baik dengan saiz model, data atau pengiraan.

Perhatian Tingkap Gelongsor

Corak perhatian di mana setiap token hadir hanya pada tetingkap saiz tetap token berdekatan untuk mengurangkan pengiraan.

GAN (Rangkaian Adversarial Generatif)

Persediaan generatif di mana penjana dan diskriminator melatih antara satu sama lain.

Seberapa baik prestasi model pada data baharu yang tidak kelihatan di luar set latihan.

Keturunan Kecerunan

Kaedah pengoptimuman yang mengemas kini parameter ke arah yang mengurangkan ralat.

Ketahui lebih lanjut dalam panduan percuma kami

Gradient Accumulation Stochastic Gradient Descent with Momentum Nesterov Accelerated Gradient Vanishing and Exploding Gradients

See also

Generative AI Ground Truth Guardrails Function Calling Hallucination Foundation Model Human-in-the-Loop Fine-Tuning

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma