Co je Gradient? Definice | AI Understanding

Definice

Vektor ukazující, jak moc by se měl každý parametr změnit, aby se snížila ztráta.

Související pojmy

Tréninkový hyperparametr, který řídí, jak moc se parametry mění v každém kroku aktualizace.

Zákon o škálování

Empirický vztah ukazující, jak se výkon zlepšuje s velikostí modelu, daty nebo výpočtem.

Posuvné okno Pozor

Vzor pozornosti, kde se každý token věnuje pouze oknu blízkých tokenů s pevnou velikostí, aby se snížil počet výpočtů.

GAN (Generativní adversariální síť)

Generativní nastavení, kde generátor a diskriminátor trénují proti sobě.

Jak dobře si model vede na nových, neviditelných datech mimo trénovací sadu.

Gradientní sestup

Optimalizační metoda, která aktualizuje parametry ve směru, který snižuje chyby.

Více se dozvíte v našich bezplatných průvodcích

Gradient Accumulation Stochastic Gradient Descent with Momentum Nesterov Accelerated Gradient Vanishing and Exploding Gradients

Viz také

Generative AI Ground Truth Guardrails Function Calling Hallucination Foundation Model Human-in-the-Loop Fine-Tuning

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI