Il prossimoProssima guida
Output del modello linguistico di filigrana
Tecnico
GUIDA TECNICA
BitNet è la linea di ricerca di Microsoft che mostra che è possibile addestrare modelli linguistici di grandi dimensioni con pesi limitati a solo 1 bit o tre valori nel caso ternario.
Ascolta questa guidaNarrato dall'IA · ~2 min
Ciò riduce drasticamente il consumo di memoria e di energia mantenendo una precisione sorprendentemente elevata.
I modelli convenzionali memorizzano ciascun peso come numero a 16 bit. BitNet li sostituisce con rappresentazioni estreme a basso bit. L'influente variante BitNet b1.58 utilizza pesi ternari, ciascuno limitato a -1, 0 o +1, che equivale a circa 1,58 bit di informazioni per peso (log base 2 di 3). L’idea cruciale è che il modello venga addestrato da zero con questi vincoli, senza poi essere quantizzato, in modo che impari a essere robusto con una precisione limitata. Poiché i pesi sono solo -1, 0 o +1, le moltiplicazioni costose nella matematica delle matrici si riducono in addizioni e sottrazioni. Il risultato è una larghezza di banda della memoria, un consumo energetico e una latenza molto inferiori, con il valore 0 che consente anche la scarsità, il tutto abbinando modelli a massima precisione con dimensioni comparabili su molti benchmark.
BitNet b1.58 2B4T di Microsoft funziona in modo efficiente su una CPU, consentendo l'inferenza LLM senza una GPU dedicata.
Assistenti sul dispositivo che adattano un modello capace alla memoria limitata del telefono grazie a pesi di ~1,58 bit.
Riduzione dell'energia di inferenza e del costo del carbonio per servizi API a volume elevato sostituendo i moltiplicatori in virgola mobile con addizioni.
Implementazioni edge (IoT, hardware incorporato) in cui i pesi ternari rendono fattibile la comprensione della lingua locale con budget energetici limitati.
BitNet punta verso un futuro in cui modelli capaci verranno eseguiti su telefoni, laptop e dispositivi edge senza GPU del data center. Il principale collo di bottiglia è l’hardware: i chip di oggi sono costruiti per la matematica in virgola mobile, quindi acceleratori specializzati ottimizzati per operazioni di sola addizione ternaria potrebbero moltiplicare i vantaggi. Aspettatevi più architetture native a 1 bit, modelli in stile BitNet più grandi e integrazione negli assistenti sul dispositivo in cui la durata della batteria e la privacy contano, rimodellando potenzialmente l'economia dell'inferenza dell'intelligenza artificiale.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
BitNet è la linea di ricerca di Microsoft che mostra che è possibile addestrare modelli linguistici di grandi dimensioni con pesi limitati a solo 1 bit o tre valori nel caso ternario. Ciò riduce drasticamente il consumo di memoria e di energia mantenendo una precisione sorprendentemente elevata.
I pesi ternari assumono uno di tre valori e la rappresentazione di tre stati richiede logaritmo in base 2 di 3, circa 1,58 bit.
Con i pesi limitati a -1, 0 e +1, la moltiplicazione per un peso si riduce ad aggiungere, sottrarre o ignorare un valore, evitando costose moltiplicazioni in virgola mobile.
BitNet conserva una copia principale dei pesi con una precisione più elevata e utilizza lo stimatore diretto per far passare i gradienti attraverso la quantizzazione, consentendo la normale backpropagation.
Lo stato 0 consente di disattivare effettivamente alcune connessioni, introducendo una scarsità che può essere sfruttata per ulteriore efficienza.
Gli acceleratori odierni sono progettati attorno alla moltiplicazione in virgola mobile, quindi è necessario hardware dedicato per operazioni basate su addizioni ternarie per sfruttare appieno i vantaggi di velocità ed energia di BitNet.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Output del modello linguistico di filigrana
Tecnico