LegközelebbKövetkező útmutató
Vízjel nyelvi modell kimenetei
Műszaki
Műszaki ÚTMUTATÓ
A BitNet a Microsoft kutatási vonala, amely azt mutatja, hogy a nagy nyelvi modellek betaníthatók 1 bitre korlátozódó súlyozással, vagy hármas esetben három értékkel.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez drámaian csökkenti a memória- és energiafelhasználást, miközben megőrzi a meglepően erős pontosságot.
A hagyományos modellek minden súlyt 16 bites számként tárolnak. A BitNet ezeket extrém alacsony bites megjelenítésekkel helyettesíti. A BitNet b1.58 befolyásos változata háromszoros súlyozást használ, mindegyik -1, 0 vagy +1 értékre korlátozva, ami körülbelül 1,58 bitnyi információt jelent súlyonként (2/3 log-alap). A döntő ötlet az, hogy a modellt a semmiből képezik ki ezekkel a megszorításokkal, nem pedig kvantifikálják utólag, így megtanulja, hogy a korlátozott pontosságig robusztus legyen. Mivel a súlyok csak -1, 0 vagy +1, a drága szorzások a mátrix matematikában összeadásokká és kivonásokká omlanak össze. Az eredmény jóval alacsonyabb memória sávszélesség, energiafogyasztás és késleltetés, a 0 érték pedig ritkaságot is lehetővé tesz, miközben számos benchmarkon összehasonlítható méretű, teljes precíziós modellekkel párosul.
A Microsoft BitNet b1.58 2B4T-je hatékonyan fut CPU-n, lehetővé téve az LLM-következtetést dedikált GPU nélkül.
Eszközön található asszisztensek, amelyek egy alkalmas modellt a telefon korlátozott memóriájába illesztenek a ~1,58 bites súlyoknak köszönhetően.
A nagy volumenű API-szolgáltatások következtetési energia- és szén-dioxid-költségeinek csökkentése a lebegőpontos szorzók összeadásokkal való helyettesítésével.
Edge telepítések (IoT, beágyazott hardver), ahol a hármas súlyok lehetővé teszik a helyi nyelv megértését szűkös energiatakarékosság mellett.
A BitNet egy olyan jövő felé mutat, ahol a megfelelő modellek adatközponti GPU-k nélküli telefonokon, laptopokon és szélső eszközökön futnak. A fő szűk keresztmetszet a hardver: a mai chipek a lebegőpontos matematikára épülnek, így a hármas összeadási műveletekre optimalizált speciális gyorsítók megsokszorozhatják az előnyöket. Több natív 1 bites architektúra, nagyobb BitNet-stílusú modellek és az eszközön található asszisztensekbe való integráció várható, ahol az akkumulátor élettartama és az adatvédelem számít, ami potenciálisan átformálja az AI-következtetés gazdaságosságát.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A BitNet a Microsoft kutatási vonala, amely azt mutatja, hogy a nagy nyelvi modellek betaníthatók 1 bitre korlátozódó súlyozással, vagy hármas esetben három értékkel. Ez drámaian csökkenti a memória- és energiafelhasználást, miközben megőrzi a meglepően erős pontosságot.
A hármas súlyok három érték valamelyikét veszik fel, és három állapot megjelenítéséhez 3-ból 2-es log-alap szükséges, nagyjából 1,58 bit.
A -1-re, 0-ra és +1-re korlátozott súlyozás esetén a súllyal való szorzás egy érték hozzáadására, kivonására vagy figyelmen kívül hagyására redukálódik, elkerülve a költséges lebegőpontos szorzásokat.
A BitNet megőrzi a súlyozások nagyobb pontosságú mestermásolatát, és az egyenes becslést használja a gradiensek kvantáláson való áthaladására, lehetővé téve a normál visszaterjesztést.
A 0 állapot lehetővé teszi bizonyos kapcsolatok hatékony kikapcsolását, ami ritkaságot eredményez, amelyet a további hatékonyság érdekében lehet kihasználni.
A mai gyorsítókat a lebegőpontos szorzás köré tervezték, ezért a hármas összeadás-alapú műveletekhez dedikált hardverre van szükség a BitNet sebesség- és energiaelőnyeinek teljes kihasználásához.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Vízjel nyelvi modell kimenetei
Műszaki