InayofuataMwongozo unaofuata
Matokeo ya Muundo wa Lugha ya Kuashiria Maji
Kiufundi
MWONGOZO wa Kiufundi
1-Bit na Ternary BitNet Models
BitNet ni utafiti wa Microsoft unaoonyesha kwamba miundo mikubwa ya lugha inaweza kufunzwa kwa uzani uliozuiliwa kwa biti 1 tu, au thamani tatu katika hali ya mwisho.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
This slashes memory and energy use dramatically while keeping surprisingly strong accuracy.
Dive ya kina
Mifano ya kawaida huhifadhi kila uzito kama nambari ya 16-bit. BitNet hubadilisha hizi na uwasilishaji wa hali ya chini sana. Kibadala chenye ushawishi cha BitNet b1.58 hutumia uzani wa mwisho, kila moja ikiwa na -1, 0, au +1, ambayo hufanya kazi kwa takriban biti 1.58 za maelezo kwa kila uzani (logi msingi 2 kati ya 3). Wazo muhimu ni kwamba mtindo umefunzwa kutoka mwanzo na vizuizi hivi, sio kuhesabiwa baadaye, kwa hivyo hujifunza kuwa thabiti kwa usahihi mdogo. Kwa sababu uzani ni -1, 0, au +1 tu, kuzidisha kwa gharama kubwa katika hesabu ya matrix huporomoka kuwa nyongeza na kutoa. Matokeo yake ni kipimo data cha chini kabisa cha kumbukumbu, matumizi ya nishati, na muda wa kusubiri, huku thamani 0 pia ikiwezesha uchache, wakati wote inalingana na miundo ya usahihi kamili katika saizi zinazolingana kwenye vigezo vingi.
Utekelezaji wa Ulimwengu Halisi
Microsoft BitNet b1.58 2B4T ya Microsoft inayoendesha vyema kwenye CPU, kuwezesha makisio ya LLM bila GPU maalum.
Visaidizi vya kwenye kifaa ambavyo vinatoshea muundo mzuri kwenye kumbukumbu ndogo ya simu shukrani kwa ~ uzani wa-bit 1.58.
Kupunguza nishati ya makisio na gharama ya kaboni kwa huduma za kiwango cha juu cha API kwa kubadilisha sehemu zinazoelea na kuongeza.
Usambazaji wa pembeni (IoT, maunzi yaliyopachikwa) ambapo uzani wa mwisho hurahisisha uelewa wa lugha ya ndani ndani ya bajeti ngumu ya nishati.
Mustakabali wa Miundo ya 1-Bit na Ternary BitNet
BitNet inaelekeza katika siku zijazo ambapo miundo yenye uwezo hutumika kwenye simu, kompyuta za mkononi na vifaa vya makali bila GPU za datacenter. Kikwazo kikuu ni maunzi: chipsi za kisasa zimeundwa kwa hesabu ya sehemu zinazoelea, kwa hivyo vichapuzi maalum vilivyoboreshwa kwa shughuli za ziada za tatu vinaweza kuzidisha manufaa. Tarajia usanifu asili zaidi wa 1-bit, miundo mikubwa ya mtindo wa BitNet, na ujumuishaji katika visaidizi vya kifaa ambapo maisha ya betri na faragha ni muhimu, uwezekano wa kuunda upya uchumi wa makisio ya AI.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the 1-Bit and Ternary BitNet Models quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is 1-Bit and Ternary BitNet Models?
BitNet ni utafiti wa Microsoft unaoonyesha kwamba miundo mikubwa ya lugha inaweza kufunzwa kwa uzani uliozuiliwa kwa biti 1 tu, au thamani tatu katika hali ya mwisho. Hii hupunguza kumbukumbu na utumiaji wa nishati kwa kasi huku ikiweka usahihi wa kushangaza.
Kwa nini BitNet b1.58 inaelezwa kutumia takriban biti 1.58 kwa kila uzani?
Vipimo vya uzani huchukua moja ya thamani tatu, na kuwakilisha majimbo matatu kunahitaji msingi wa kumbukumbu 2 kati ya 3, takriban biti 1.58.
Ni nini hufanya shughuli za matrix ya BitNet kuwa nafuu kuliko mifano ya kawaida?
Kwa uzani uliodhibitiwa hadi -1, 0, na +1, kuzidisha kwa uzito hupunguza kuongeza, kupunguza, au kupuuza thamani, kuepuka kuzidisha kwa sehemu za kuelea kwa gharama kubwa.
Wakati wa mafunzo, BitNet husasisha vipi uzani licha ya hatua isiyoweza kutofautishwa ya quantization?
BitNet huhifadhi nakala kuu ya uzani wa usahihi wa hali ya juu na hutumia kikadiriaji cha moja kwa moja kupitisha viwango vya juu, hivyo kuwezesha uenezaji wa kawaida.
Je, kuruhusu thamani 0 (ternary, sio binary safi) kunatoa faida gani ya ziada?
Hali 0 huruhusu baadhi ya miunganisho kuzimwa ipasavyo, ikileta uchache ambao unaweza kutumiwa kwa ufanisi zaidi.
Ni changamoto gani kuu ya vifaa vya kutambua faida kamili za BitNet?
Vichapuzi vya kisasa vimeundwa karibu na kuzidisha kwa sehemu zinazoelea, kwa hivyo maunzi mahususi kwa ajili ya utendakazi wa ziada wa tatu inahitajika ili kufungua kikamilifu faida za kasi na nishati za BitNet.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii