1-Bit ati Awọn awoṣe BitNet Ternary
BitNet jẹ laini iwadi Microsoft ti o nfihan pe awọn awoṣe ede nla le jẹ ikẹkọ pẹlu awọn iwuwo ni ihamọ si 1 bit nikan, tabi awọn iye mẹta ninu ọran ternary.
Akopọ
This slashes memory and energy use dramatically while keeping surprisingly strong accuracy.
Jin Dive
Awọn awoṣe aṣa tọju iwuwo kọọkan bi nọmba 16-bit kan. BitNet rọpo iwọnyi pẹlu awọn aṣoju kekere-bit pupọ. Iyatọ BitNet b1.58 ti o ni ipa nlo awọn iwuwo ternary, ọkọọkan ni ihamọ si -1, 0, tabi +1, eyiti o ṣiṣẹ si bii 1.58 awọn alaye diẹ fun iwuwo (ipilẹ log 2 ti 3). Ero to ṣe pataki ni pe awoṣe ti ni ikẹkọ lati ibere pẹlu awọn inira wọnyi, kii ṣe iwọn lẹyin naa, nitorinaa o kọ ẹkọ lati logan si konge to lopin. Nitoripe awọn iwuwo jẹ -1, 0, tabi +1, awọn isodipupo gbowolori ni matrix matrix ṣubu sinu awọn afikun ati iyokuro. Abajade jẹ bandiwidi iranti kekere ti o kere ju, lilo agbara, ati aisimi, pẹlu iye 0 tun mu sparsity ṣiṣẹ, gbogbo lakoko ti o baamu awọn awoṣe pipe ni kikun ni awọn iwọn afiwera lori ọpọlọpọ awọn ipilẹ.
Imọ-imọ-ẹrọ
BitNet nlo Layer BitLinear ti aṣa ti o ṣe iwọn awọn iwuwo si ternary ati awọn iṣẹ ṣiṣe si iwọn kekere lakoko ti o kọja siwaju, lakoko ti o tọju ẹda 'ojiji' ti o ga julọ ti awọn iwuwo fun awọn imudojuiwọn gradient nipasẹ iṣiro taara. Nitori iwuwo kọọkan jẹ -1, 0, tabi +1, awọn ọja aami ti o jẹ gaba lori iṣiro ẹrọ iyipada di awọn afikun ati awọn iyokuro kuku ju aaye lilefoofo pọ, eyiti o jẹ ohun ti o ṣii agbara ati awọn anfani iyara lori ohun elo to dara.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti 1-Bit ati Awọn awoṣe BitNet Ternary
BitNet tọka si ọjọ iwaju nibiti awọn awoṣe ti o lagbara nṣiṣẹ lori awọn foonu, kọǹpútà alágbèéká, ati awọn ẹrọ eti laisi GPUs datacenter. Igo akọkọ jẹ ohun elo: awọn eerun oni ni a kọ fun iṣiro-ojuami lilefoofo, nitorinaa awọn ohun imuyara amọja ti iṣapeye fun awọn iṣẹ afikun-nikan le ṣe isodipupo awọn anfani. Reti diẹ sii awọn ile-itumọ 1-bit abinibi, awọn awoṣe ara-ara BitNet nla, ati isọpọ sinu awọn oluranlọwọ ẹrọ nibiti igbesi aye batiri ati ọrọ aṣiri, ti o le ṣe atunto eto-ọrọ aje ti itọkasi AI.
Real-World imuse
Microsoft's BitNet b1.58 2B4T nṣiṣẹ daradara lori Sipiyu kan, ti o mu ki itọkasi LLM ṣiṣẹ laisi GPU igbẹhin.
Awọn oluranlọwọ ẹrọ ti o baamu awoṣe to lagbara sinu iranti lopin foonu ọpẹ si awọn iwọn 1.58-bit.
Idinku agbara inference ati idiyele erogba fun awọn iṣẹ API iwọn-giga nipasẹ rirọpo awọn aaye lilefoofo pọ pẹlu awọn afikun.
Awọn imuṣiṣẹ eti (IoT, ohun elo ifibọ) nibiti awọn iwuwo ternary jẹ ki oye ede agbegbe le ṣee ṣe laarin awọn isuna agbara lile.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the 1-Bit and Ternary BitNet Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Watermarking Ede Awoṣe wu
Awọn ibeere ti a beere nigbagbogbo
What is 1-Bit and Ternary BitNet Models?
BitNet jẹ laini iwadi Microsoft ti o nfihan pe awọn awoṣe ede nla le jẹ ikẹkọ pẹlu awọn iwuwo ni ihamọ si 1 bit nikan, tabi awọn iye mẹta ninu ọran ternary. Eyi dinku iranti ati lilo agbara bosipo lakoko ti o tọju deede iyalẹnu lagbara.
Kini idi ti BitNet b1.58 ṣe apejuwe bi lilo awọn iwọn 1.58 fun iwuwo?
Awọn òṣuwọn ternary gba ọkan ninu awọn iye mẹta, ati aṣoju awọn ipinlẹ mẹta nilo ipilẹ log 2 ti 3, ni aijọju awọn die-die 1.58.
Kini o jẹ ki awọn iṣẹ matrix BitNet din owo ju ni awọn awoṣe boṣewa?
Pẹlu awọn òṣuwọn ti o ni opin si -1, 0, ati +1, isodipupo nipasẹ iwuwo dinku si fifi kun, iyokuro, tabi kọjukoju iye kan, yago fun idiyele lilefoofo-ojuami n pọ si.
Lakoko ikẹkọ, bawo ni BitNet ṣe imudojuiwọn awọn iwuwo laibikita igbesẹ titobi ti kii ṣe iyatọ?
BitNet n tọju ẹda tituntosi ti o ga julọ ti awọn iwuwo ati lo taara-nipasẹ iṣiro lati kọja awọn gradients nipasẹ titobi, ti n muu ẹhin deede ṣiṣẹ.
Anfani afikun wo ni gbigba iye 0 (ternary, kii ṣe alakomeji mimọ) pese?
Ipinle 0 jẹ ki diẹ ninu awọn asopọ wa ni pipa ni imunadoko, ti n ṣafihan sparsity ti o le ṣee lo fun ṣiṣe siwaju sii.
Kini ipenija ohun elo akọkọ fun riri awọn anfani ṣiṣe ni kikun BitNet?
Awọn accelerators ti ode oni jẹ apẹrẹ ni ayika isodipupo-ojuami lilefoofo, nitorinaa ohun elo iyasọtọ fun awọn iṣẹ ipilẹ-ipilẹ ternary ni a nilo lati ṣii ni kikun iyara BitNet ati awọn anfani agbara.