DalšíDalší průvodce
Jemné ladění vs RAG vs Prompting
Jazyk AI
Jazyk AI GUIDE
QLoRA je technika, která vám umožní doladit masivní jazykový model na jediném spotřebitelském GPU uložením zmrazeného modelu v pouhých 4 bitech na váhu.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Umožnil přizpůsobení modelů s parametry 65B na hardwaru, který dříve zvládal pouze modely zlomku této velikosti.
Za normálních okolností jemné vyladění velkého modelu znamená načíst každou váhu s 16bitovou přesností a všechny aktualizovat, což vyžaduje obrovskou paměť. QLoRA spojuje dvě myšlenky. Nejprve zmrazí předtrénovaný model a kvantuje jej na 4 bity, čímž zkrátí paměť zhruba čtyřnásobně. Za druhé, používá LoRA: namísto aktualizace obřích matic váhových matic vedle nich vkládá malé trénovatelné matice adaptérů nízké úrovně, takže se aktualizuje pouze několik milionů parametrů. 4bitová báze zůstává pevná, zatímco gradienty protékají pouze malými adaptéry. QLoRA, představený v roce 2023 Dettmersem a kolegy, ukázal, že jemné vyladění 65B modelu na jednom 48GB GPU by mohlo odpovídat kvalitě plného 16bitového jemného doladění.
Startup dolaďuje model 70B Llama na jediném 48GB GPU, aby vytvořil asistenta zákaznické podpory v hlasu vlastní značky, aniž by si musel pronajímat serverový cluster.
Výzkumník s jedním spotřebitelem RTX 4090 přes noc přizpůsobí otevřený model specializovanému souboru dat s odpověďmi na lékařské otázky.
Vývojář vytváří desítky malých vyměnitelných adaptérů LoRA pro různé úkoly, přičemž všechny sdílejí jeden 4bitový základní model nahraný v paměti.
Hobby doladí model ve svých osobních protokolech chatu tak, aby napodoboval konkrétní styl psaní pomocí bezplatného hardwaru na úrovni Colab.
4bitové jemné ladění se stalo standardní praxí a výzkum nyní směřuje k ještě nižší přesnosti, včetně 2bitových a 1bitových (ternárních) reprezentací. Novější kvantizační schémata jako AWQ, GPTQ a HQQ dále zpřesňují přesnost, zatímco techniky jako QA-LoRA mají za cíl udržet model kvantovaný i po sloučení adaptérů. Jak rostou modely s otevřenou hmotností, očekávejte nástroje, které umožní nadšencům doladit modely 70B plus na jediném herním GPU, aby se staly rutinou, demokratizujícím přizpůsobením.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
QLoRA je technika, která vám umožní doladit masivní jazykový model na jediném spotřebitelském GPU uložením zmrazeného modelu v pouhých 4 bitech na váhu. Umožnil přizpůsobení modelů s 65B parametry na hardwaru, který dříve zvládal pouze modely zlomku této velikosti.
QLoRA ukládá zmrazené předtrénované váhy ve 4 bitech na hodnotu, čímž ořezává paměť zhruba čtyřnásobně ve srovnání s 16 bity.
Základní model je zmrazen; aktualizace gradientu dostávají pouze injektované matice adaptérů nízké úrovně, což je jen nepatrný zlomek parametrů.
NF4 (NormalFloat 4-bit) je datový typ navržený kolem bell-curve rozložení vah neuronové sítě pro lepší přesnost než plain int4.
Paged optimizers use NVIDIA unified memory to page optimizer states between GPU and CPU memory as needed; the QLoRA paper says this helps manage memory spikes and reduce out-of-memory risk during long-sequence fine-tuning.
During a matrix multiplication, quantized weights are dequantized on the fly to a higher-precision compute dtype (for example, BF16 or FP16 in QLoRA configurations); the temporary higher-precision values are not stored as a full base-model copy.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Jemné ladění vs RAG vs Prompting
Jazyk AI