Up tókànItọsọna atẹle
Fine-Tuning vs RAG vs Prompting
Èdè AI
Èdè AI Itọsọna
QLoRA ati 4-Bit Fine-Tuning
QLoRA jẹ ilana ti o jẹ ki o ṣatunṣe awoṣe ede nla kan lori GPU olumulo kan nipa titoju awoṣe tutunini ni awọn iwọn 4 o kan fun iwuwo.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O ṣe isọdi awọn awoṣe paramita 65B ṣee ṣe lori hardware ti o le mu awọn awoṣe nikan ida kan ti iwọn yẹn.
Jin Dive
Ni deede, ṣiṣe atunṣe awoṣe nla tumọ si ikojọpọ gbogbo iwuwo ni deede 16-bit ati mimu gbogbo wọn ṣe, eyiti o nilo iranti nla. QLoRA daapọ meji ero. Ni akọkọ, o didi awoṣe ti a ti kọkọ tẹlẹ ati ṣe iwọn rẹ si awọn iwọn 4, ti npa iranti ni aijọju ilọpo mẹrin. Ẹlẹẹkeji, o nlo LoRA: dipo mimudojuiwọn awọn matiriki iwuwo nla, o fa awọn matiri oluyipada ipo kekere ti ikẹkọ lẹgbẹẹ wọn, nitorinaa awọn iwọn miliọnu diẹ nikan ni imudojuiwọn. Ipilẹ 4-bit duro titi di igba ti awọn gradients nṣan nikan nipasẹ awọn oluyipada kekere. Agbekale ni 2023 nipasẹ Dettmers ati awọn ẹlẹgbẹ, QLoRA fihan pe ṣiṣe atunṣe awoṣe 65B kan lori 48GB GPU kan le baamu didara ti kikun-tuning 16-bit ni kikun.
Real-World imuse
Ibẹrẹ itanran-tun ṣe awoṣe 70B Llama kan lori 48GB GPU kan lati kọ oluranlọwọ atilẹyin alabara kan ninu ohun ami iyasọtọ tirẹ laisi iyalo iṣupọ olupin kan.
Oniwadi kan pẹlu olumulo RTX 4090 ṣe adaṣe awoṣe ṣiṣi kan si data ti o dahun ibeere iṣoogun niche ni alẹ kan.
Olùgbéejáde ṣẹda awọn dosinni ti kekere, awọn oluyipada LoRA swappable fun awọn iṣẹ ṣiṣe ti o yatọ, gbogbo pinpin awoṣe ipilẹ 4-bit kan ti kojọpọ ni iranti.
A hobbyist itanran-tuns awoṣe kan lori wọn ti ara ẹni iwiregbe àkọọlẹ lati fara wé kan pato kikọ ara lilo free Colab-ite hardware.
Ojo iwaju ti QLoRA ati 4-Bit Fine-Tuning
Atunse itanran 4-bit ti di adaṣe boṣewa, ati pe iwadii titari ni bayi si konge kekere paapaa, pẹlu awọn aṣoju 2-bit ati 1-bit (ternary). Awọn igbero titobi tuntun bii AWQ, GPTQ, ati HQQ ṣe atunṣe deede siwaju, lakoko ti awọn imuposi bii QA-LoRA ṣe ifọkansi lati jẹ ki awoṣe di iwọn paapaa lẹhin awọn oluyipada idapọpọ. Bi awọn awoṣe iwuwo-ìmọ ti ndagba, nireti ohun elo irinṣẹ ti o jẹ ki awọn aṣenọju dara-tune 70B-plus awọn awoṣe lori GPU ere kan lati di ilana ṣiṣe, isọdi tiwantiwa.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iyara ati iwọn. Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
- Wiwọle ati arọwọto. O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
- Awọn ipinnu diẹ sii. Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ṣọra fun
- Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
- Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
- Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Next awọn igbesẹ
- Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
- Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
- Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
- Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the QLoRA and 4-Bit Fine-Tuning quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini QLoRA ati 4-bit Fine-Tuning?
QLoRA jẹ ilana ti o jẹ ki o ṣatunṣe awoṣe ede nla kan lori GPU olumulo kan nipa titoju awoṣe tutunini ni awọn iwọn 4 o kan fun iwuwo. O jẹ ki isọdi awọn awoṣe paramita 65B ṣee ṣe lori ohun elo ti o le ṣaju awọn awoṣe nikan ni ida kan ti iwọn yẹn.
Kini ero fifipamọ iranti mojuto lẹhin apakan '4-bit' ti QLoRA?
QLoRA tọju awọn iwọn ti a ti kọkọ didi tutunini ni awọn iwọn 4 fun iye kan, gige iranti ni aijọju ilọpo mẹrin ni akawe si 16-bit.
Lakoko atunṣe-itanran QLoRA, awọn aye wo ni o ni imudojuiwọn gangan nipasẹ isunmọ gradient?
Awoṣe ipilẹ jẹ aotoju; nikan awọn matiri oluyipada ipo kekere ti abẹrẹ gba awọn imudojuiwọn gradient, eyiti o jẹ ida kekere ti awọn aye.
Kini NF4 ni ipo ti QLoRA?
NF4 (NormalFloat 4-bit) jẹ iru data ti a ṣe apẹrẹ ni ayika pinpin bell-curve ti awọn iwuwo nẹtiwọọki nkankikan fun deede to dara julọ ju int4 pẹtẹlẹ lọ.
Isoro wo ni 'awọn olupilẹṣẹ oju-iwe' ni adirẹsi QLoRA?
Paged optimizers use NVIDIA unified memory to page optimizer states between GPU and CPU memory as needed; the QLoRA paper says this helps manage memory spikes and reduce out-of-memory risk during long-sequence fine-tuning.
Nigbawo ni awọn iwọn 4-bit ṣe iyipada pada si konge giga lakoko ikẹkọ?
During a matrix multiplication, quantized weights are dequantized on the fly to a higher-precision compute dtype (for example, BF16 or FP16 in QLoRA configurations); the temporary higher-precision values are not stored as a full base-model copy.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii