Il prossimoProssima guida
Ottimizzazione vs RAG vs Prompt
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
QLoRA è una tecnica che ti consente di mettere a punto un modello linguistico di grandi dimensioni su una singola GPU consumer archiviando il modello congelato in soli 4 bit per peso.
Ascolta questa guidaNarrato dall'IA · ~2 min
It made customizing 65B-parameter models possible on hardware that previously could only handle models a fraction of that size.
Normalmente, mettere a punto un modello di grandi dimensioni significa caricare ogni peso con una precisione di 16 bit e aggiornarli tutti, il che richiede un'enorme memoria. QLoRA combina due idee. Innanzitutto, congela il modello pre-addestrato e lo quantizza fino a 4 bit, riducendo di circa quattro volte la memoria. In secondo luogo, utilizza LoRA: invece di aggiornare le gigantesche matrici di peso, inserisce accanto ad esse minuscole matrici di adattatori di basso rango addestrabili, in modo che vengano aggiornati solo pochi milioni di parametri. La base a 4 bit rimane fissa mentre i gradienti scorrono solo attraverso i piccoli adattatori. Introdotto nel 2023 da Dettmers e colleghi, QLoRA ha dimostrato che la messa a punto di un modello 65B su una GPU da 48 GB potrebbe eguagliare la qualità della messa a punto completa a 16 bit.
Una startup mette a punto un modello Llama da 70B su una singola GPU da 48 GB per creare un assistente di assistenza clienti con il proprio marchio senza noleggiare un cluster di server.
Un ricercatore con un RTX 4090 consumer adatta da un giorno all'altro un modello aperto a un set di dati di risposta a domande mediche di nicchia.
Uno sviluppatore crea dozzine di piccoli adattatori LoRA intercambiabili per attività diverse, tutti condividendo un modello base a 4 bit caricato in memoria.
Un hobbista mette a punto un modello nei propri registri di chat personali per imitare un particolare stile di scrittura utilizzando hardware gratuito di livello Colab.
La regolazione fine a 4 bit è diventata una pratica standard e la ricerca ora spinge verso una precisione ancora inferiore, comprese le rappresentazioni a 2 bit e 1 bit (ternarie). I nuovi schemi di quantizzazione come AWQ, GPTQ e HQQ perfezionano ulteriormente la precisione, mentre tecniche come QA-LoRA mirano a mantenere il modello quantizzato anche dopo l'unione degli adattatori. Man mano che i modelli open-weight crescono, ci si aspetta che gli strumenti che consentono agli hobbisti di mettere a punto i modelli 70B e oltre su una singola GPU da gioco diventino routine, democratizzando la personalizzazione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
QLoRA è una tecnica che ti consente di mettere a punto un modello linguistico di grandi dimensioni su una singola GPU consumer archiviando il modello congelato in soli 4 bit per peso. Ha reso possibile la personalizzazione di modelli con parametri 65B su hardware che in precedenza poteva gestire solo modelli di una frazione di quelle dimensioni.
QLoRA memorizza i pesi preaddestrati congelati a 4 bit per valore, riducendo la memoria di circa quattro volte rispetto a 16 bit.
Il modello base è congelato; solo le matrici dell'adattatore di basso rango iniettate ricevono aggiornamenti del gradiente, che rappresenta solo una piccola frazione dei parametri.
NF4 (NormalFloat 4-bit) è un tipo di dati progettato attorno alla distribuzione della curva a campana dei pesi della rete neurale per una migliore precisione rispetto al semplice int4.
Paged optimizers use NVIDIA unified memory to page optimizer states between GPU and CPU memory as needed; the QLoRA paper says this helps manage memory spikes and reduce out-of-memory risk during long-sequence fine-tuning.
During a matrix multiplication, quantized weights are dequantized on the fly to a higher-precision compute dtype (for example, BF16 or FP16 in QLoRA configurations); the temporary higher-precision values are not stored as a full base-model copy.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Ottimizzazione vs RAG vs Prompt
Intelligenza artificiale linguistica