Il prossimoProssima guida
Funzioni di influenza per l'attribuzione dei dati di training
Tecnico
GUIDA TECNICA
GPTQ e AWQ sono due metodi principali per ridurre i modelli linguistici già addestrati alla precisione a 4 bit in modo che funzionino su hardware più economico e più piccolo.
Ascolta questa guidaNarrato dall'IA · ~2 min
Ecco perché puoi eseguire un modello capace su una singola GPU consumer invece che su un rack di un data center.
La quantizzazione post-training (PTQ) comprime un modello finito senza riqualificarlo, mappando pesi ad alta precisione fino a 4 bit per circa un quarto della memoria. La sfida è farlo senza compromettere la precisione. GPTQ (un perfezionamento di OBQ) quantizza i pesi strato per strato, utilizzando informazioni di secondo ordine provenienti da un piccolo set di dati di calibrazione per regolare i pesi rimanenti e compensare ogni errore di arrotondamento. AWQ (Activation-aware Weight Quantization) adotta un punto di vista diverso: osserva che una piccola frazione di canali di peso è sproporzionatamente importante, identificata osservando le magnitudini di attivazione, e protegge quei canali salienti ridimensionandoli anziché quantizzandoli in modo aggressivo. Entrambi consentono l'esecuzione di modelli come Llama a 4 bit e strumenti come vLLM, llama.cpp e AutoGPTQ li hanno resi mainstream per l'inferenza locale ed economicamente vantaggiosa.
Esecuzione di un modello Llama da 70 miliardi di parametri su una singola GPU consumer da 24 GB utilizzando pesi GPTQ a 4 bit.
I modelli quantizzati AWQ sono serviti a un throughput elevato in vLLM per API di produzione economicamente vantaggiose.
llama.cpp utilizza pesi GGUF quantizzati per eseguire modelli linguistici localmente sulla CPU di un laptop.
Le librerie AutoGPTQ e AutoAWQ di Hugging Face consentono agli sviluppatori di quantizzare un modello scaricato in poche righe di codice.
La quantizzazione si sta spingendo al di sotto dei 4 bit verso schemi a 3 bit, 2 bit e a precisione mista, spesso combinati con la scarsità. Aspettatevi un accoppiamento più stretto con i motori di servizio in modo che la quantizzazione, la compressione della cache KV e la decodifica speculativa lavorino insieme. Il supporto hardware per formati a basso bit come NVFP4 e MXFP4 sta maturando e gli strumenti automatizzati sceglieranno sempre più larghezze di bit per livello. L'obiettivo generale è 4 bit (e inferiori) quasi senza perdite come impostazione predefinita, rendendo modelli forti economici da servire ovunque.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
GPTQ e AWQ sono due metodi principali per ridurre i modelli linguistici già addestrati alla precisione a 4 bit in modo che funzionino su hardware più economico e più piccolo. Ecco perché puoi eseguire un modello capace su una singola GPU consumer invece che su un rack di un data center.
La quantizzazione post-addestramento riduce la precisione dei pesi di un modello finito (ad esempio, a 4 bit) senza riqualificarlo da zero.
GPTQ utilizza un'iuta approssimativa per comprendere in che modo la quantizzazione di un peso influisce sulla perdita, quindi regola i pesi rimanenti per compensare.
AWQ identifica i canali di peso salienti utilizzando le grandezze di attivazione e li protegge tramite ridimensionamento, poiché alcuni canali contano in modo sproporzionato.
Passare da 16 bit a 4 bit per peso riduce il peso della memoria a circa un quarto, ovvero una riduzione di circa 4 volte.
I pesi rappresentano il costo della memoria principale, mentre le attivazioni sono più sensibili alla perdita di precisione, quindi la quantizzazione basata sul solo peso è il punto debole comune.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Funzioni di influenza per l'attribuzione dei dati di training
Tecnico