QLoRA ati 4-Bit Fine-Tuning
QLoRA jẹ ilana ti o jẹ ki o ṣatunṣe awoṣe ede nla kan lori GPU olumulo kan nipa titoju awoṣe tutunini ni awọn iwọn 4 o kan fun iwuwo.
Akopọ
O ṣe isọdi awọn awoṣe paramita 65B ṣee ṣe lori hardware ti o le mu awọn awoṣe nikan ida kan ti iwọn yẹn.
Jin Dive
Ni deede, ṣiṣe atunṣe awoṣe nla tumọ si ikojọpọ gbogbo iwuwo ni deede 16-bit ati mimu gbogbo wọn ṣe, eyiti o nilo iranti nla. QLoRA daapọ meji ero. Ni akọkọ, o didi awoṣe ti a ti kọkọ tẹlẹ ati ṣe iwọn rẹ si awọn iwọn 4, ti npa iranti ni aijọju ilọpo mẹrin. Ẹlẹẹkeji, o nlo LoRA: dipo mimudojuiwọn awọn matiriki iwuwo nla, o fa awọn matiri oluyipada ipo kekere ti ikẹkọ lẹgbẹẹ wọn, nitorinaa awọn iwọn miliọnu diẹ nikan ni imudojuiwọn. Ipilẹ 4-bit duro titi di igba ti awọn gradients nṣan nikan nipasẹ awọn oluyipada kekere. Agbekale ni 2023 nipasẹ Dettmers ati awọn ẹlẹgbẹ, QLoRA fihan pe ṣiṣe atunṣe awoṣe 65B kan lori 48GB GPU kan le baamu didara ti kikun-tuning 16-bit ni kikun.
Imọ-imọ-ẹrọ
QLoRA ṣe awọn ẹtan mẹta. NF4 (4-bit NormalFloat) jẹ iru data ti a ṣe iṣapeye fun pinpin bell-curve ti awọn iwuwo nkankikan, fifun ni deede to dara ju int4 pẹtẹlẹ lọ. Ilọpo ilọpo meji ṣe compress awọn iwọn wiwọn funrara wọn, fifipamọ iranti afikun. Awọn oluṣapejuwe oju-iwe lo iranti isokan GPU-CPU lati fa awọn spikes lakoko awọn ọna gigun, idilọwọ awọn ipadanu ti ita-iranti. Lakoko kọja siwaju ati sẹhin, awọn iwọn 4-bit jẹ iwọntunwọnsi si 16-bit ni akoko-akoko fun isodipupo matrix, lẹhinna asonu.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti QLoRA ati 4-Bit Fine-Tuning
Atunse itanran 4-bit ti di adaṣe boṣewa, ati pe iwadii titari ni bayi si konge kekere paapaa, pẹlu awọn aṣoju 2-bit ati 1-bit (ternary). Awọn igbero titobi tuntun bii AWQ, GPTQ, ati HQQ ṣe atunṣe deede siwaju, lakoko ti awọn imuposi bii QA-LoRA ṣe ifọkansi lati jẹ ki awoṣe di iwọn paapaa lẹhin awọn oluyipada idapọpọ. Bi awọn awoṣe iwuwo-ìmọ ti ndagba, nireti ohun elo irinṣẹ ti o jẹ ki awọn aṣenọju dara-tune 70B-plus awọn awoṣe lori GPU ere kan lati di ilana ṣiṣe, isọdi tiwantiwa.
Real-World imuse
Ibẹrẹ itanran-tun ṣe awoṣe 70B Llama kan lori 48GB GPU kan lati kọ oluranlọwọ atilẹyin alabara kan ninu ohun ami iyasọtọ tirẹ laisi iyalo iṣupọ olupin kan.
Oniwadi kan pẹlu olumulo RTX 4090 ṣe adaṣe awoṣe ṣiṣi kan si data ti o dahun ibeere iṣoogun niche ni alẹ kan.
Olùgbéejáde ṣẹda awọn dosinni ti kekere, awọn oluyipada LoRA swappable fun awọn iṣẹ ṣiṣe ti o yatọ, gbogbo pinpin awoṣe ipilẹ 4-bit kan ti kojọpọ ni iranti.
A hobbyist itanran-tuns awoṣe kan lori wọn ti ara ẹni iwiregbe àkọọlẹ lati fara wé kan pato kikọ ara lilo free Colab-ite hardware.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the QLoRA and 4-Bit Fine-Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ijusile iṣapẹẹrẹ Fine-Tuning
Awọn ibeere ti a beere nigbagbogbo
Kini QLoRA ati 4-bit Fine-Tuning?
QLoRA jẹ ilana ti o jẹ ki o ṣatunṣe awoṣe ede nla kan lori GPU olumulo kan nipa titoju awoṣe tutunini ni awọn iwọn 4 o kan fun iwuwo. O jẹ ki isọdi awọn awoṣe paramita 65B ṣee ṣe lori ohun elo ti o le ṣaju awọn awoṣe nikan ni ida kan ti iwọn yẹn.
Kini ero fifipamọ iranti mojuto lẹhin apakan '4-bit' ti QLoRA?
QLoRA tọju awọn iwọn ti a ti kọkọ didi tutunini ni awọn iwọn 4 fun iye kan, gige iranti ni aijọju ilọpo mẹrin ni akawe si 16-bit.
Lakoko atunṣe-itanran QLoRA, awọn aye wo ni o ni imudojuiwọn gangan nipasẹ isunmọ gradient?
Awoṣe ipilẹ jẹ aotoju; nikan awọn matiri oluyipada ipo kekere ti abẹrẹ gba awọn imudojuiwọn gradient, eyiti o jẹ ida kekere ti awọn aye.
Kini NF4 ni ipo ti QLoRA?
NF4 (NormalFloat 4-bit) jẹ iru data ti a ṣe apẹrẹ ni ayika pinpin bell-curve ti awọn iwuwo nẹtiwọọki nkankikan fun deede to dara julọ ju int4 pẹtẹlẹ lọ.
Isoro wo ni 'awọn olupilẹṣẹ oju-iwe' ni adirẹsi QLoRA?
Awọn oluṣapejuwe oju-iwe lo iranti isokan GPU-CPU lati fa awọn spikes iranti, idilọwọ awọn ipadanu ibi-iranti lakoko ikẹkọ lori awọn igbewọle gigun.
Nigbawo ni awọn iwọn 4-bit ṣe iyipada pada si konge giga lakoko ikẹkọ?
Awọn òṣuwọn 4-bit jẹ iwọntunwọnsi si konge 16-bit lori fo fun isodipupo matrix kọọkan, lẹhinna ẹda ti o ga julọ ti ju silẹ lati fipamọ iranti.