DalšíDalší průvodce
Použití AI k řešení fyzikálních úloh
Aplikace
Technický PRŮVODCE
Straight-Through Estimator (STE) je jednoduchý trik pro trénovací sítě, které obsahují tvrdé, nediferencovatelné kroky, jako je zaokrouhlování nebo prahování.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Používá diskrétní hodnotu na dopředném průchodu, ale předstírá, že operace byla identitou při výpočtu gradientů.
Některé operace, jako je zaokrouhlování na celé číslo, binarizace vah na +1/-1 nebo výběr nejvyšší kategorie pomocí argmax, mají derivaci, která je téměř všude nula a při skocích není definována. Ten nulový gradient přestane studovat. Straight-Through Estimator toto obchází tím, že odděluje průchody vpřed a vzad: vpřed aplikuje skutečně tvrdou operaci; zpětně jednoduše kopíruje příchozí gradient přímo, jako by operace byla identita (nebo hladký proxy). Odhad je zkreslený, protože skutečný gradient je skutečně nulový, ale v praxi tato aproximace „předstírat, že to bylo hladké“ trénuje binarizované a kvantované sítě pozoruhodně dobře, a proto je STE tahounem efektivního hlubokého učení.
Školení binárních a nízkobitových kvantovaných neuronových sítí pro efektivní vyvozování z telefonů a okrajových zařízení.
Zpětné šíření prostřednictvím vyhledávání v diskrétním seznamu kódů ve VQ-VAE a neuronových audio/obrazových tokenizérech.
Trénink s vědomím kvantizace, kde se váhy nebo aktivace zaokrouhlují na pevný bod během přihrávky vpřed.
Učení se tvrdé pozornosti nebo diskrétní hradlování, kde je ve výpočtové cestě argmax nebo práh.
STE podporuje nárůst nízkobitových a binárních neuronových sítí sledovaných pro AI na zařízení a energeticky omezenou AI a je ústředním bodem pro trénování vektorově kvantovaných modelů, jako jsou modely používané v moderních tokenizérech obrazu a zvuku. Pokračující práce hledá přísnější, méně zaujaté odhady gradientů a lepší teoretické pochopení toho, proč taková hrubá aproximace funguje. Vzhledem k tomu, že poptávka po malých, rychlých, kvantovaných modelech na telefonech a hranovém hardwaru roste, očekávejte, že triky ve stylu STE zůstanou základem navzdory jejich známému zkreslení.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Straight-Through Estimator (STE) je jednoduchý trik pro trénovací sítě, které obsahují tvrdé, nediferencovatelné kroky, jako je zaokrouhlování nebo prahování. Používá diskrétní hodnotu na dopředném průchodu, ale předstírá, že operace byla identitou při výpočtu gradientů.
The guide describes a hard forward pass and a surrogate backward pass.
The guide says hard rounding has a zero or undefined derivative that can stop learning.
The guide explicitly notes that the approximation is biased.
The guide names quantization and rounding as common applications.
The guide gives this pattern to preserve the hard value while passing the identity gradient.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Použití AI k řešení fyzikálních úloh
Aplikace