Nchịkọta
QLoRA bụ usoro na-enye gị ohere ịhazigharị nnukwu ụdị asụsụ na otu GPU ndị na-azụ ahịa site na ịchekwa ụdị oyi kpọnwụrụ na naanị 4 bits kwa arọ. O mere ịhazi ụdị 65B-parameter na ngwaike nke na mbụ nwere ike ijikwa obere akụkụ nke nha ahụ.
QLoRA na 4-Bit Fine-Tuning bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, na gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.
Ime miri emi
Dị ka ọ na-adịkarị, ịmegharị nnukwu ihe nlereanya pụtara ịbuba ibu ọ bụla na 16-bit nkenke yana imelite ha niile, nke chọrọ nnukwu ebe nchekwa. QLoRA na-ejikọta echiche abụọ. Nke mbụ, ọ na-eme ka ihe atụ a zụrụ azụ wee tụọ ya ruo 4 bits, na-ebelata ebe nchekwa ihe dịka okpukpu anọ. Nke abụọ, ọ na-eji LoRA: kama imelite nnukwu matrices dị arọ, ọ na-agbanye obere ihe nkwụnye ọkụ dị ala dị ala n'akụkụ ha, yabụ naanị nde nkeji ole na ole ka emelitere. Ntọala 4-bit ka edobere ebe gradients na-aga naanị site na obere nkwụnye. Ewebatara na 2023 site na Dettmers na ndị ọrụ ibe ya, QLoRA gosipụtara na imezigharị ihe ngosi 65B nke ọma na otu 48GB GPU nwere ike dakọtara n'ịdị mma nke nlegharị anya 16-bit zuru oke.
Nghọta nka nka
QLoRA webatara aghụghọ atọ. NF4 (4-bit NormalFloat) bụ ụdị data emebere maka nkesa mgbịrịgba nke arọ akwara, na-enye izi ezi ka mma karịa int4. Ugboro abụọ quantization compresses quantization constants n'onwe ha, na-azọpụta amara ebe nchekwa. Ndị na-eme ka ihu akwụkwọ na-eji GPU-CPU jikọtara ọnụ na-amịkọrọ spikes n'oge ogologo usoro, na-egbochi mkpọka na-enweghị ebe nchekwa. N'oge ngafe na-aga n'ihu na azụ azụ, a na-ebelata ihe ọ̀tụ̀tụ̀ 4-bit ka ọ bụrụ 16-bit kpọmkwem n'oge maka matriks mụbaa, wee tụfuo ya.
Ịkwalite QLoRA na 4-Bit Fine-Tuning
QLoRA bụ usoro na-enye gị ohere ịhazigharị nnukwu ụdị asụsụ na otu GPU ndị na-azụ ahịa site na ịchekwa ụdị oyi kpọnwụrụ na naanị 4 bits kwa arọ. O mere ịhazi ụdị 65B-parameter na ngwaike nke na mbụ nwere ike ijikwa obere akụkụ nke nha ahụ. QLoRA na 4-Bit Fine-Tuning bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, na gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wuo nghọta miri emi, na-emeso QLoRA na 4-Bit Fine-Tuning dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji QLoRA na 4-Bit Fine-Tuning imewe na-akpali, iweghachi, na nyocha loops dị ka otu usoro nkwurịta okwu agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Mmalite mma na-akụ ụdị 70B Llama n'otu 48GB GPU iji wuo onye na-akwado ndị ahịa n'olu akara nke ya na-enweghị ịgbazite ụyọkọ nkesa.
Onye nyocha nwere otu onye ahịa RTX 4090 na-emegharị ihe ngosi mepere emepe ka ọ bụrụ dataset na-aza ajụjụ ahụike niche n'abali.
Onye nrụpụta na-emepụta ọtụtụ ihe nkwụnye LoRA dị obere, nke nwere ike ịgbanwe maka ọrụ dị iche iche, ha niile na-ekerịta otu ụdị ntọala 4-bit nke etinyere na ebe nchekwa.
Onye na-enwe mmasị na-atọ ụtọ na-akụ ihe nlereanya na ndekọ nkata nke onwe ya iji ṅomie otu ụdị ederede site na iji ngwaike Colab n'efu.
Usoro mmejuputa
QLoRA na 4-Bit Fine-Tuning na omume
Mmalite mma na-akụ ụdị 70B Llama n'otu 48GB GPU iji wuo onye na-akwado ndị ahịa n'olu akara nke ya na-enweghị ịgbazite ụyọkọ nkesa.
Mma mmalite na-akụ ihe ngosi 70B Llama na otu 48GB GPU iji wuo onye na-enyere ndị ahịa aka n'olu nke aka ya na-enweghị ịgbazite ụyọkọ ihe nkesa na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ ịrị elu mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
QLoRA na 4-Bit Fine-Tuning na omume
Onye nyocha nwere otu onye ahịa RTX 4090 na-emegharị ihe ngosi mepere emepe ka ọ bụrụ dataset na-aza ajụjụ ahụike niche n'abali.
Onye na-eme nchọpụta nwere otu onye na-azụ ahịa RTX 4090 na-emegharị ihe ngosi mepere emepe na niche ajụjụ ahụike na-aza dataset n'abali Ndị otu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ ahịa, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
QLoRA na 4-Bit Fine-Tuning na omume
Onye nrụpụta na-emepụta ọtụtụ ihe nkwụnye LoRA dị obere, nke nwere ike ịgbanwe maka ọrụ dị iche iche, ha niile na-ekerịta otu ụdị ntọala 4-bit nke etinyere na ebe nchekwa.
Onye nrụpụta na-emepụta ọtụtụ ihe nkwụnye LoRA dị obere, swappable maka ọrụ dị iche iche, niile na-ekerịta otu ụdị 4-bit nke etinyere na ebe nchekwa Otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
QLoRA na 4-Bit Fine-Tuning na omume
Onye na-enwe mmasị na-atọ ụtọ na-akụ ihe nlereanya na ndekọ nkata nke onwe ya iji ṅomie otu ụdị ederede site na iji ngwaike Colab n'efu.
Ndị na-enwe mmasị na-enwe mmasị na-akụ ihe atụ na ndekọ nkata nke onwe ha iji ṅomie otu ụdị ederede site na iji otu ngwaike Colab na-akwụghị ụgwọ na-enwetakwa nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ikpe ikpe, ma soro ma uru mmepụta yana ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.