DalšíDalší průvodce
Výstupy jazykového modelu vodoznaku
Technický
Technický PRŮVODCE
BitNet je linií výzkumu Microsoft, která ukazuje, že velké jazykové modely lze trénovat s váhami omezenými na 1 bit nebo tři hodnoty v ternárním případě.
Poslechněte si tento návodAI-vyprávěný · ~2 min
This slashes memory and energy use dramatically while keeping surprisingly strong accuracy.
Konvenční modely ukládají každou váhu jako 16bitové číslo. BitNet je nahrazuje extrémně nízkobitovými reprezentacemi. Vlivná varianta BitNet b1.58 používá ternární váhy, z nichž každá je omezena na -1, 0 nebo +1, což vychází na přibližně 1,58 bitů informací na váhu (logový základ 2 ze 3). Zásadní myšlenkou je, že model je trénován od nuly s těmito omezeními, není následně kvantován, takže se učí být robustní s omezenou přesností. Protože váhy jsou jen -1, 0 nebo +1, drahé násobení v maticové matematice se zhroutí na sčítání a odčítání. Výsledkem je mnohem nižší šířka pásma paměti, spotřeba energie a latence, přičemž hodnota 0 také umožňuje vzácnost, a to vše při odpovídajících plně přesných modelů ve srovnatelných velikostech v mnoha měřítcích.
BitNet b1.58 2B4T Microsoft běží efektivně na CPU, což umožňuje vyvozování LLM bez vyhrazeného GPU.
Asistenti na zařízení, kteří díky ~1,58bitové hmotnosti zapadnou schopný model do omezené paměti telefonu.
Snížení nákladů na odvozenou energii a uhlík u velkoobjemových služeb API nahrazením násobků s pohyblivou řádovou čárkou sčítáním.
Okrajová nasazení (IoT, vestavěný hardware), kde ternární váhy umožňují porozumění místnímu jazyku v rámci napjatých rozpočtů.
BitNet ukazuje na budoucnost, kde schopné modely poběží na telefonech, noteboocích a okrajových zařízeních bez GPU datových center. Hlavním úzkým hrdlem je hardware: dnešní čipy jsou stavěny pro matematiku s pohyblivou řádovou čárkou, takže specializované akcelerátory optimalizované pro ternární operace pouze sčítání by mohly výhody znásobit. Očekávejte nativní 1bitové architektury, větší modely ve stylu BitNet a integraci do asistentů na zařízení, kde záleží na výdrži baterie a soukromí, což může potenciálně změnit ekonomiku vyvozování AI.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
BitNet je linií výzkumu Microsoft, která ukazuje, že velké jazykové modely lze trénovat s váhami omezenými na 1 bit nebo tři hodnoty v ternárním případě. To dramaticky snižuje paměť a spotřebu energie při zachování překvapivě vysoké přesnosti.
Ternární váhy nabývají jedné ze tří hodnot a reprezentující tři stavy vyžaduje logaritmický základ 2 ze 3, tedy zhruba 1,58 bitu.
S váhami omezenými na -1, 0 a +1 se násobení váhou redukuje na přičítání, odečítání nebo ignorování hodnoty, čímž se vyhnete nákladným násobkům s plovoucí desetinnou čárkou.
BitNet uchovává přesnější hlavní kopii vah a používá přímý estimátor k průchodu gradientů kvantizací, což umožňuje normální zpětné šíření.
Stav 0 umožňuje efektivně vypnout některá připojení, což představuje vzácnost, kterou lze využít pro další efektivitu.
Dnešní akcelerátory jsou navrženy pro násobení s plovoucí desetinnou čárkou, takže k plnému odemknutí rychlosti a energetických výhod BitNetu je zapotřebí vyhrazený hardware pro ternární operace založené na sčítání.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Výstupy jazykového modelu vodoznaku
Technický