VolgendeVolgende gids
Fine-tuning versus RAG versus prompting
Taal AI
Taal AI-GIDS
QLoRA is een techniek waarmee u een enorm taalmodel op een enkele consumenten-GPU kunt verfijnen door het bevroren model op te slaan in slechts 4 bits per gewicht.
Luister naar deze gidsAI-verteld · ~2 min
Het maakte het aanpassen van modellen met 65B-parameters mogelijk op hardware die voorheen slechts modellen van een fractie van die grootte aankon.
Normaal gesproken betekent het verfijnen van een groot model dat elk gewicht met een nauwkeurigheid van 16 bits wordt geladen en allemaal moet worden bijgewerkt, wat een enorme hoeveelheid geheugen vergt. QLoRA combineert twee ideeën. Ten eerste bevriest het het vooraf getrainde model en kwantiseert het tot 4 bits, waardoor het geheugen grofweg verviervoudigd wordt. Ten tweede maakt het gebruik van LoRA: in plaats van de gigantische gewichtsmatrices bij te werken, injecteert het kleine trainbare adaptermatrices van lage rang ernaast, zodat slechts een paar miljoen parameters worden bijgewerkt. De 4-bits basis blijft vast terwijl gradiënten alleen door de kleine adapters stromen. QLoRA, geïntroduceerd in 2023 door Dettmers en collega's, toonde aan dat het verfijnen van een 65B-model op één GPU van 48 GB de kwaliteit van volledige 16-bits fijnafstemming zou kunnen evenaren.
Een startup verfijnt een 70B Llama-model op een enkele GPU van 48 GB om een klantondersteuningsassistent te bouwen met de stem van zijn eigen merk, zonder een servercluster te huren.
Een onderzoeker met één consumenten-RTX 4090 past van de ene op de andere dag een open model aan een niche-dataset voor het beantwoorden van medische vragen aan.
Een ontwikkelaar maakt tientallen kleine, verwisselbare LoRA-adapters voor verschillende taken, die allemaal één 4-bits basismodel delen dat in het geheugen is geladen.
Een hobbyist verfijnt een model in zijn persoonlijke chatlogboeken om een bepaalde schrijfstijl na te bootsen met behulp van gratis hardware van Colab-kwaliteit.
4-bits fijnafstemming is de standaardpraktijk geworden, en onderzoek streeft nu naar een nog lagere nauwkeurigheid, inclusief 2-bits en 1-bits (ternaire) representaties. Nieuwere kwantiseringsschema's zoals AWQ, GPTQ en HQQ verfijnen de nauwkeurigheid verder, terwijl technieken zoals QA-LoRA tot doel hebben het model gekwantiseerd te houden, zelfs na het samenvoegen van adapters. Naarmate de open-weight-modellen groeien, kun je tools verwachten waarmee hobbyisten 70B-plus-modellen op een enkele gaming-GPU kunnen verfijnen om routine te worden en maatwerk te democratiseren.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
QLoRA is een techniek waarmee u een enorm taalmodel op een enkele consumenten-GPU kunt verfijnen door het bevroren model op te slaan in slechts 4 bits per gewicht. Het maakte het aanpassen van modellen met 65B-parameters mogelijk op hardware die voorheen slechts modellen van een fractie van die grootte aankon.
QLoRA slaat de bevroren, voorgetrainde gewichten op met 4 bits per waarde, waardoor het geheugen ongeveer verviervoudigd wordt in vergelijking met 16-bits.
Het basismodel is bevroren; alleen de geïnjecteerde adaptermatrices met een lage rangorde ontvangen gradiëntupdates, wat slechts een klein deel van de parameters is.
NF4 (NormalFloat 4-bit) is een gegevenstype dat is ontworpen rond de belcurveverdeling van neurale netwerkgewichten voor een betere nauwkeurigheid dan gewone int4.
Paged optimizers use NVIDIA unified memory to page optimizer states between GPU and CPU memory as needed; the QLoRA paper says this helps manage memory spikes and reduce out-of-memory risk during long-sequence fine-tuning.
During a matrix multiplication, quantized weights are dequantized on the fly to a higher-precision compute dtype (for example, BF16 or FP16 in QLoRA configurations); the temporary higher-precision values are not stored as a full base-model copy.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Fine-tuning versus RAG versus prompting
Taal AI