Il prossimoProssima guida
Ingegneria dello sterzo e della rappresentazione dell'attivazione
Tecnico
GUIDA TECNICA
SmoothQuant è una tecnica che consente di comprimere modelli linguistici di grandi dimensioni fino a numeri interi a 8 bit sia per i pesi che per le attivazioni senza riqualificazione.
Ascolta questa guidaNarrato dall'IA · ~2 min
It matters because activations in big models contain extreme outliers that normally wreck low-precision math, and SmoothQuant tames them.
Quando si riduce un modello da numeri in virgola mobile a 16 bit a numeri interi a 8 bit, i pesi si comprimono facilmente ma le attivazioni sono problematiche: alcuni canali trasportano valori da 10 a 100 volte più grandi degli altri e forzarli in una griglia di numeri interi grossolani distrugge la precisione. SmoothQuant, introdotto da Xiao et al. nel 2022, osserva che i pesi sono uniformi e facili da quantizzare mentre le attivazioni sono irregolari. Quindi migra matematicamente la difficoltà: divide i canali di attivazione per una scala per canale e moltiplica i pesi corrispondenti per la stessa scala. Le due operazioni si annullano, lasciando invariato l'output del modello, ma ora entrambi i tensori si trovano in intervalli amichevoli. Il risultato è un'inferenza W8A8 (pesi e attivazioni a 8 bit) con perdita di precisione prossima allo zero e un aumento di velocità e un risparmio di memoria di circa 2 volte.
Servire un LLM da 70B parametri su W8A8 su meno GPU dimezzando sia la memoria che il costo di moltiplicazione della matrice
Abilitazione dell'inferenza INT8 sui tensor core NVIDIA Hopper/Blackwell che accelerano nativamente la matematica intera a 8 bit
Distribuzione di modelli di chat su endpoint cloud a costi limitati in cui il raddoppio del throughput riduce direttamente la fattura per token
Compressione dei codificatori del trasformatore per il parlato o la traduzione sul dispositivo in cui i kernel a 8 bit funzionano più velocemente e con meno frequenza
SmoothQuant ha stabilito che i valori anomali di attivazione sono migrabili anziché inevitabili e tale idea ora è alla base della produzione INT8 e del servizio FP8. Si prevede che il livellamento venga combinato con schemi a grana più fine come la quantizzazione per gruppo, il ridimensionamento appreso e la ricerca di attivazione a 4 bit (ad esempio metodi in grado di riconoscere valori anomali). Man mano che l'hardware FP8 (Hopper, Blackwell) matura, il bilanciamento in stile smoothing continuerà a essere integrato nelle pipeline del compilatore e del motore di inferenza, in modo che la quantizzazione rimanga quasi libera.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
SmoothQuant è una tecnica che consente di comprimere modelli linguistici di grandi dimensioni fino a numeri interi a 8 bit sia per i pesi che per le attivazioni senza riqualificazione. È importante perché le attivazioni nei modelli di grandi dimensioni contengono valori anomali estremi che normalmente distruggono la matematica a bassa precisione e SmoothQuant li doma.
SmoothQuant prende di mira i grandi valori anomali che compaiono in determinati canali di attivazione, che altrimenti distruggono la precisione quando le attivazioni vengono quantizzate a 8 bit.
Divide i canali di attivazione per una scala per canale e moltiplica i pesi corrispondenti per quella scala, quindi il prodotto rimane invariato ma entrambi i tensori diventano più facili da quantizzare.
W8A8 denota la quantizzazione a 8 bit sia per i pesi (W) che per le attivazioni (A), il regime che SmoothQuant consente con una perdita di precisione minima.
Le scale di livellamento vengono inserite nei pesi del livello precedente o in un'operazione fusa in anticipo, quindi non avviene alcun calcolo aggiuntivo durante l'inferenza.
Alfa (comunemente 0,5) bilancia il fattore di livellamento, decidendo quanta parte della difficoltà di quantizzazione viene spostata dalle attivazioni ai pesi.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Ingegneria dello sterzo e della rappresentazione dell'attivazione
Tecnico